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Prefazione 


di Anna Maria Ajello 


Sono qui presentati alcuni studi che approfondiscono temi sulla base 
di dati provenienti dalle ricerche condotte in ambito internazionale, OCSE 
PISA e IEA TIMSS/TIMSS Advanced. 

Come si sa, l'INVALSI è il centro nazionale che svolge le principali in- 
dagini comparative condotte in ambito educativo dalle organizzazioni cui 
l’Italia aderisce; queste attività costituiscono una risorsa fondamentale che 
consente di connettere le rilevazioni nazionali e internazionali e di mettere 
in luce ulteriori elementi che derivano da questi confronti. Occorre qui sot- 
tolineare come il quadro dei risultati degli studenti italiani che ci offrono le 
indagini internazionali è coerente con quello che emerge dalle prove nazio- 
nali condotte dall’INVALSI, confermando di fatto l’elevata qualità di queste 
ultime, la cui importanza è legata sia al fatto di fornire a tutte le scuole un 
termine di paragone comune, sia alla possibilità di arricchire le informazioni 
attraverso dati sulla propria specifica situazione. 

L’attendibilità dei dati prodotti da INVALSI, riconosciuta anche in sede 
internazionale, poiché sono rispettati tutti gli standard di qualità, consente la 
loro diffusione come data base di riferimento per università ed enti di ricerca, 
di cui valersi per ulteriori elaborazioni. 

È questa un’altra funzione svolta da INVALSI nel solco del più generale 
investimento per la costruzione della cultura della valutazione che l’Istituto 
conduce mediante le relazioni con i componenti della comunità scientifica 
nazionale e internazionale. 

In questo senso, 1 dati delle indagini internazionali rappresentano un pa- 
trimonio per il nostro Paese e sono a disposizione di tutti, in primo luogo 
dell’intera comunità scientifica, ma anche dei vari protagonisti del nostro si- 
stema scolastico. Per favorire il loro pieno utilizzo, l'INVALSI rende dispo- 
nibile su richiesta l’intera base dei dati, corredata di tutta la necessaria docu- 
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mentazione рег lo svolgimento di analisi secondarie. L'abbondanza dei dati 
che in tal modo sono messi a disposizione è molto rilevante perché sono dati 
cognitivi relativi alla performance degli studenti, ma anche questionari di 
contesto rivolti a studenti, dirigenti scolastici, docenti e genitori. L'insieme 
di questi dati consente ai ricercatori di diversi ambiti disciplinari di studiare 
in profondità 1 nessi tra le variabili che possono avere valenza esplicativa 
rispetto a fattori — individuali e contestuali — che facilitano o ostacolano le 
performance degli studenti. 

In particolare, negli ultimi decenni, le esperienze delle indagini interna- 
zionali OCSE e IEA hanno permesso ai diversi Paesi partecipanti di ave- 
re un quadro più preciso dell’efficacia dei propri sistemi di istruzione. Per 
quanto riguarda l’Italia, i risultati hanno costantemente dimostrato l’effetto 
dell’indice socio-economico e culturale di provenienza dello studente sul 
rendimento, che tende ad aumentare con il passaggio ai gradi scolastici supe- 
riori, determinando un effetto di segregazione che vede studenti dello stesso 
livello di background frequentare lo stesso tipo di scuola, a cui si sommano 
le differenze territoriali che tendono ad aumentare nei gradi di istruzione più 
elevati. 

A livello internazionale, diversi studi negli ultimi anni si sono concentrati 
sulla comprensione dei fattori di contesto e di processo che possano contri- 
buire a spiegare il rendimento dello studente. Poco numerosi, però, sono gli 
studi condotti nel nostro Paese a partire da questi dati; e il presente volume 
nasce proprio dall’idea di raccogliere differenti contributi di ricerca al fine 
di accrescere e migliorare le conoscenze non solo di chi fa ricerca in campo 
educativo, ma anche di chi lavora nel sistema scolastico o di chi è chiama- 
to a prendere decisioni politiche in merito. Il volume ha, quindi, lo scopo 
di promuovere il valore scientifico dei dati rilevati dalle suddette indagini 
internazionali, sottolineandone le potenzialità sul piano conoscitivo e contri- 
buendo alla divulgazione del lavoro svolto in proposito da studiosi di diversa 
estrazione disciplinare. 

Le varie tematiche affrontate nei diversi contributi riguardano aspetti 
spesso dibattuti, di solito sulla base di impressioni ed esperienze personali, о 
di un particolare episodio di cronaca; in questa sede invece, alcune di queste 
questioni sono proposte sulla base di approfondimenti di ricerca e consento- 
no quindi una riflessione più solida e produttiva anche al fine di proporre dati 
per il decisore politico, qualora se ne volesse valere. 

In sintesi, il volume si presenta come un contributo ricco di spunti e di 
suggestioni ulteriori per altre attività di ricerca e per nutrire di elementi at- 
tendibili la riflessione pubblica su questi temi. 
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Introduzione 


di Elisa Caponera, Laura Palmerio 


Questo volume presenta contributi di esperti e analisti in merito ad alcune 
delle competenze rilevate dalle indagini internazionali OCSE e IEA, svoltesi 
nel 2015 — 1 cui risultati principali sono stati presentati nel dicembre 2016 — 
focalizzando l’attenzione sul rapporto tra risultati e variabili di contesto. Si 
tratta di contributi che possono essere utili per tutte le persone che lavorano 
nel mondo della scuola. 

L’Italia è uno dei Paesi che da più tempo partecipa a ricerche compara- 
tive internazionali della ТЕА! (International Association for the Evaluation 
of Educational Achievement) e dell’ OCSE? (OECD — Organizzazione per la 
cooperazione e lo sviluppo economico), cruciali per capire e confrontare gli 
andamenti dei diversi sistemi scolastici nazionali. Le indagini internazio- 
nali oggetto di questo volume coinvolgono campioni di studenti di quarta 
primaria, terza secondaria di I grado, seconda secondaria di II grado, quinta 
secondaria di II grado, offrendo una panoramica degli apprendimenti degli 
studenti in diversi momenti del percorso scolastico. 

Il volume raccoglie sette contributi, alcuni dei quali in lingua inglese, 
suddivisi in tre parti. 

I due contributi della prima parte riguardano la relazione tra l'appren- 
dimento della matematica e le caratteristiche e i comportamenti degli stu- 
denti in TIMSS 2015 e TIMSS Advanced 2015. Più nel dettaglio, il primo 
contributo riguarda la relazione tra i compiti a casa e l'apprendimento della 


! La IEA è un’associazione internazionale indipendente di enti nazionali di ricerca educa- 
tiva e di enti governativi di ricerca che si occupano del miglioramento dell'istruzione. L'obiet- 
tivo della IEA è fornire informazioni di alta qualità sui risultati del rendimento degli studenti 
e sui contesti educativi in cui gli stessi raggiungono tali risultati. 

2 L’OCSE è un'organizzazione internazionale che ha l'obiettivo di sviluppare la crescita 
economica sostenibile dei Paesi membri. 
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matematica in studenti del terzo anno della scuola secondaria di I grado е, 
incrociando i dati di TIMSS 2015 con quelli delle rilevazioni nazionali IN- 
VALSI, si propone di approfondire se e in quale misura le performance de- 
gli studenti in matematica siano direttamente associate all'impegno fuori la 
scuola. I risultati dello studio mostrano una relazione fra il tempo dedicato ai 
compiti a casa e il rendimento profondamente differenziata a seconda che si 
tengano sotto controllo le risorse possedute dallo studente a casa e/o il livello 
di preparazione in ingresso. 

Il secondo contributo riguarda la relazione tra le convinzioni degli stu- 
denti e il rendimento in matematica in quinta secondaria di II grado, uti- 
lizzando i dati di TIMSS Advanced e quelli derivanti da un questionario 
nazionale costruito ad hoc, contenente domande riguardanti l’auto-efficacia 
e l’ansia percepita dagli studenti nei confronti della matematica. I risultati 
hanno evidenziato una relazione statisticamente significativa fra tutte le mi- 
sure relative al sistema di autoregolazione dell’apprendimento, in particolare 
dell’auto-efficacia, e il rendimento in matematica avanzata. 

La seconda parte del volume riguarda la cultura e i contesti in PISA 2015 
e raccoglie tre contributi, il primo dei quali si focalizza sul background 
migratorio e il genere degli studenti quali fattori che influenzano 1 risulta- 
ti scolastici, utilizzando i dati italiani di PISA 2015 in lettura, matematica 
e scienze. Le autrici si focalizzano sull’interazione tra questi due fattori e 
analizzano le differenze per genere e origine nei risultati scolastici. I risultati 
evidenziano che il background familiare ha particolare influenza sui risultati 
delle ragazze immigrate, mentre il differenziale negativo più ampio riguarda 
1 risultati dei ragazzi immigrati relativamente ai nativi in lettura. 

Il secondo contributo di questa parte studia l'item bias e la sua natura 
culturale attraverso l’utilizzo dei dati OCSE-PISA 2015, riferiti a gruppi re- 
gionali in Italia e Spagna. I risultati hanno messo in risalto una significativa 
evidenza di Differential Item Functioning (DIF), che varia ampiamente — per 
numerosità, dimensione e direzione — tra gruppi regionali e ambiti di compe- 
tenza. Nel complesso, l'item bias più rilevante è emerso in matematica, tra 
Campania e Lombardia. Il contributo offre inoltre una discussione sull’im- 
portanza dell’uso della valutazione dei bias per meglio comprendere l’inte- 
razione tra cultura e istruzione. 

L’ultimo contributo della seconda parte approfondisce le modalità di dif- 
fusione dell’informazione relativa all’indagine OCSE-PISA così come vei- 
colata da uno dei più utilizzati motori di ricerca, ossia Google. Tale studio 
evidenzia il ruolo importante che i media rivestono ai fini di una corretta 
informazione perché sovente sono accentuati aspetti polarizzanti le questioni 
che oscurano invece la necessità di approfondimenti e di critica ragionata. 
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L’ultima parte del volume comprende due studi relativi alla financial li- 
teracy, misurata in PISA. Tale ambito riveste un crescente interesse da parte 
degli studiosi proprio perché la recente e lunga crisi economica ha messo in 
luce sia la carenza diffusa di questa competenza, sia la necessità di provve- 
dere al più presto a una sua promozione. 

Il primo dei due studi analizza la relazione tra comportamento atteso di 
spesa e competenza finanziaria in adolescenza e il ruolo giocato dalla fa- 
miglia sul fronte dell’educazione finanziaria e della socializzazione finan- 
ziaria. Sono stati confrontati due gruppi di studenti che hanno dichiarato 
comportamenti di spesa opposti: quelli che per comprare qualcosa di deside- 
rato risparmiano; quelli che, al contrario, hanno dichiarato di usare il denaro 
destinato ad altro. I risultati evidenziano che sia l'educazione finanziaria sia 
lo status socio-economico e culturale della famiglia hanno un effetto diretto 
sulla competenza finanziaria. 

L’ultimo studio utilizza i dati relativi alla financial literacy dei quindicen- 
ni per valutare mediante un indicatore dicotomico la diffusione delle espe- 
rienze finanziarie tra gli adolescenti dei Paesi OCSE. I principali risultati 
mettono in luce che nella maggioranza dei Paesi l’esperienza finanziaria gio- 
ca un ruolo importante nel favorire l’acquisizione delle competenze finanzia- 
rie e suggeriscono che programmi educativi basati su approcci esperienziali 
possono essere dei validi strumenti di policy per elevare il livello di alfabe- 
tizzazione finanziaria della popolazione. 

Nell’ultima parte del volume sono, infine, presentati i sommari di ciascun 
contributo e brevi biografie degli autori sia in lingua italiana sia in lingua 
inglese. 


Desideriamo cogliere l’opportunità di ringraziare tutti gli autori che han- 
no contribuito a questo volume e tutti i revisori che hanno messo a disposi- 
zione il loro tempo, la loro cultura e la loro esperienza professionale per la 
rilettura dei manoscritti sottoposti per la pubblicazione. 
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1. 1 сотрт а casa е l’apprendimento 
della matematica: un approccio multilivello 
a partire dai dati dell’indagine TIMSS 2015 


di Andrea Bendinelli', Patrizia Giannantoni*, Giuseppina Le Rose” 


1.I compiti a casa: una sintesi della letteratura internazionale 


I compiti a casa, definiti da Cooper (1989, p. 7) come compiti assegnati 
dagli insegnanti al di fuori dell’orario scolastico, sono considerati da diversi 
autori un’attività educativa molto diffusa e importante che coinvolge a diver- 
si livelli, studenti, genitori e insegnanti (Choen e Stevenson, 1989; Cooper, 
1989; Dettmers et al., 2011). Nonostante le prime tracce del dibattito sull’u- 
tilità dei compiti a casa risalgano al tardo Ottocento (Cooper et al., 2006), 
la comunità scientifica non concorda sull' importanza, quantità e tipologia di 
compiti da assegnare a casa. Questo disaccordo in parte puó essere collegato 
al fatto che, sin dalle sue origini, il dibattito su questo tema, centrale soprattut- 
to negli Stati Uniti, riflette le istanze economiche e sociali di precisi momenti 
storici (Hallam, 2004). Verso fine Ottocento e inizio Novecento negli Stati 
Uniti si afferma un forte movimento antihomework, che arriva a teorizzare 
che i compiti a casa siano un'arma contro il benessere fisico e mentale dei 
ragazzi (Bok, 1900), ma basterà che la Russia, con il lancio dello Sputnik, si 
affermi come potenza mondiale, perché l'atteggiamento verso i compiti a casa 
cambi completamente, diventando una condizione necessaria per garantire 
l'apprendimento (Canadian Council on Learning, 2009). Al di là delle vicen- 
de alterne, che hanno visto prevalere la tesi a favore o a sfavore dei compiti a 
casa, questi sono considerati da molti autori una strategia educativa importan- 
te per migliorare il rendimento scolastico (Cooper, Robinson e Patall, 2006). 

Nei due principali studi di metanalisi sull'argomento (Cooper, 1989; Co- 
oper et al., 2006), l'autore e i suoi colleghi individuano tre tipologie di studi 


* INVALSI - Istituto nazionale per la valutazione del sistema educativo di istruzione e di 
formazione, Roma. 


Per contattare gli autori: andrea.bendinelli@invalsi.it. 
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che indagano la relazione tra compiti a casa е apprendimento: a) ricerche che 
usano disegni sperimentali per confrontare gli studenti con o senza compiti a 
casa, b) ricerche di tipo cross-sectional che utilizzano principalmente banche 
dati nazionali e, infine, c) studi che indagano la relazione tra il tempo speso 
per svolgere i compiti a casa e i risultati nelle prove standardizzate. La mag- 
gior parte degli studi sperimentali, 14 su 20, in Cooper (1989) e tutti e 6 in 
Cooper et al. (2006), mostra una relazione positiva tra compiti a casa e rendi- 
mento scolastico. Questa relazione risulterebbe fortemente correlata all’anno 
di scolarità considerato: quasi del tutto assente a livello della scuola primaria 
e più amplificata negli anni di scolarità superiori. Alle stesse conclusioni sono 
giunti anche molti dei 30 studi di tipo cross-sectional che hanno usato preva- 
lentemente tecniche statistiche, come la regressione multivariata o le equa- 
zioni strutturali, che permettono di tenere sotto controllo i potenziali fattori 
confondenti che possono incidere sulla variabile “compiti a casa”. Per la terza 
classe di studi, che indaga la relazione tra il tempo speso per svolgere i com- 
piti a casa e i risultati in prove standardizzate, 50 relazioni su 69 nel secondo 
studio di metanalisi di Cooper e, 43 su 50 nel primo, sono di segno positivo. 
Sebbene molti studi evidenzino un effetto positivo dei compiti a casa sull’ap- 
prendimento, diversi autori sostengono che questo legame sia ancora lontano 
dall’essere chiarito. La ragione di ciò sarebbe dovuta principalmente alla na- 
tura “associazionale” dei modelli statistici utilizzati e, quindi, all’impossibilità 
di stabilire nessi causali tra le variabili (Blazer, 2009; Cooper, 2008). In assen- 
za di randomizzazione, è improprio individuare una relazione di tipo causa- 
effetto, ma è possibile interpretare i risultati come l’intensità con la quale le 
variabili esplicative si associano all’outcome. Infatti, negli studi sperimentali, 
dove la procedura di assegnazione dei casi è randomizzata, i campioni sono 
sempre piccoli e non rappresentativi (Vatterott, 2009). Altri ricercatori sug- 
geriscono che la relazione tra compiti a casa e apprendimento potrebbe non 
essere lineare (NSW — Department of Education and Communication, 2012). 

Un altro limite metodologico ravvisato da diversi autori è quello di fer- 
marsi a un solo livello di analisi, ovvero gli studenti, senza considerare la 
natura gerarchica dei fenomeni in campo educativo e trascurando la parte 
di varianza attribuibile all’effetto classe o scuola (Trautwein e Koller, 2003; 
Maltese, Tai e Fan, 2012). Un'altra criticità della variabile “compiti a casa” 
riguarda la difficoltà di studiarla in modo diretto, non riuscendo di fatto a 
controllare i molteplici fattori che possono influenzarla. Tra le variabili inda- 
gate in letteratura troviamo: 
— la comprensione della finalità del compito assegnato; 

l’attitudine degli studenti, le loro conoscenze pregresse e la loro capacità 

di apprendimento; 
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— l’area di residenza; 

— la preparazione e le caratteristiche del gruppo classe in cui lo studente è 
inserito; 

— le caratteristiche degli insegnanti; 

— le procedure di selezione degli insegnanti; 

— la qualità di insegnamento, la loro propensione ad assegnare compiti a 
casa; 

— il percorso di studi intrapreso dagli studenti; 

— il supporto della famiglia e i feedback degli insegnanti. 


2. La relazione tra i compiti a casa e l'apprendimento della mate- 
matica 


Tra i molti studi che si sono occupati dell'influenza dei compiti a casa 
sull'apprendimento della matematica, alcuni hanno trovato una relazione si- 
gnificativa e positiva. Aksoy e Link (2000), utilizzando i dati provenienti dal 
National Educational Longitudinal Study del 1988 (NELS: 88), hanno evi- 
denziato negli studenti con un'età media di 15-16 anni una relazione positiva 
e significativa tra la quantità di ore che gli studenti dichiarano d'impiegare 
per svolgere i compiti a casa e i punteggi in test standardizzati di matematica. 
Eren e Henderson (2008), sempre usando i dati provenienti dal NELS:88, 
hanno trovato effetti positivi e significativi del compiti a casa sui punteggi 
in test di matematica per gli studenti della stessa età. In Spagna, Fernandez- 
Alonso et al. (2015) hanno trovato un'associazione positiva tra apprendi- 
mento della matematica e la frequenza, quantità di tempo e sforzo per svol- 
gere 1 compiti a casa. Dettmers et al. (2009) su un campione rappresentativo 
di 3.483 studenti tedeschi, hanno mostrato come le prestazioni nelle prove 
standardizzate, aumentano se 1 compiti assegnati riguardano argomenti trat- 
tati in classe e, se l'insegnante ne supervisiona la correzione. Alle stesse 
conclusioni sono arrivati anche Murillo e Martinez-Garrido (2014) usando 
un campione di circa 200.000 studenti di 16 Paesi dell'America Latina che 
frequentano il terzo e il sesto anno della scuola primaria. Gli autori aggiun- 
gono che i compiti a casa hanno un impatto molto importante sul rendimento 
accademico in matematica rispetto ad altre variabili, come la dimensione 
dell'aula e il numero di ore di lezione, e che non tutti gli studenti traggono lo 
stesso vantaggio dallo stesso tipo di compiti assegnati a casa: per gli studenti 
con uno status socio-economico basso, è più opportuno assegnare compiti 
che richiedono meno tempo per essere terminati. In linea con questi lavori, 
David Baker (2005), utilizzando 1 дан TIMSS, ha mostrato come le presta- 
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zioni diminuiscono in caso di compiti che non tengano conto delle caratte- 
ristiche specifiche degli studenti. Secondo Falch e Renning (2011) l’effetto 
dei compiti a casa sull’apprendimento potrebbe essere sovrastimato se non 
si considerano le caratteristiche degli insegnanti e le metodologie didattiche. 
Altri studi, invece, hanno evidenziato una relazione negativa tra compiti a 
casa e apprendimento della matematica: alcuni autori (De Jong et al., 2000; 
Kitsantas et al., 2011) hanno registrato una relazione negativa tra il tempo 
speso per i compiti e i punteggi in matematica, altri autori (House, 2002; 
Das, 2008) non hanno trovato effetti statisticamente significativi. 


3. Compiti a casa e apprendimento in matematica: il dibattito ita- 
liano 


Rispetto al contesto internazionale, la ricerca scientifica sui compiti a 
casa in Italia è piuttosto limitata, in quanto molti studi hanno considerato 
questo argomento esclusivamente in relazione ad aspetti psicologici (Terreni 
e Campiotti, 1999; Raffieuna e Bosco, 2006; Stella e Grandi, 2011; Ferrabo- 
schi e Meini, 1993) o secondari rispetto ad altri scopi di ricerca (Cornoldi et 
al., 2001; Albanese et al., 2003; Dazzi e Pedrabissi, 2006; Mason e Arcaini, 
2001; De Beni et al., 1998; Моё e De Beni, 2002). Un certo dibattito sull’ar- 
gomento si é sviluppato soprattutto grazie alle indagini internazionali OCSE 
PISA e IEA TIMSS che raccolgono informazioni relative ai compiti assegna- 
tia casa collegabili ai punteggi nelle prove standardizzate. 

In una ricerca condotta dalla rete Eurydice (2012), il tempo dedicato ai 
compiti a casa é considerato complementare alle metodologie didattiche ap- 
plicate a scuola, in quanto permette di consolidare e mettere in pratica la 
preparazione acquisita in classe. In un rapporto ISTAT del 2012 risulta che 
la quasi totalità degli alunni italiani svolge spesso compiti a casa (il 97,4% 
nella scuola primaria, 11 98,6% nella secondaria di primo grado e il 97,6% 
nella secondaria di secondo grado); il tempo dedicato per 1 compiti a casa 
sembrerebbe aumentare già a partire dalla scuola secondaria di primo grado; 
le ragazze spendono mediamente più tempo sui compiti rispetto ai ragazzi e 
1 genitori con un livello socio-economico alto risulterebbero maggiormente 
coinvolti nel supporto ai loro figli. 

I dati delle rilevazioni OCSE PISA e IEA, sono stati usati a più riprese 
da varie testate giornalistiche nazionali, o da riviste del settore scuola, per 
sostenere e confutare l’utilità dei compiti a casa. Mario Polito (2013), citan- 
do un rapporto pubblicato dall’OCSE PISA (2004), sottolineava come gli 
studenti italiani studiassero di più della media delle altre nazioni prese in 
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considerazione: 10,5 ore a settimana contro le 5,9 degli altri. Questo dato 
è da considerare in relazione al fatto che, in Italia, a differenza di altri Pa- 
esi, lo svolgimento dei compiti, nella maggior parte dei casi, non fa parte 
del tempo scuola giornaliero. In un focus sempre dell’OCSE PISA intitolato 
Does homework perpetuate inequities in education?, pubblicato nel 2014, 
afferma che nel 2012, rispetto al 2003, la quantità media di ore spese per 
compiti a casa, in 31 dei 38 Paesi in cui viene svolta la rilevazione, tra cui 
anche l’Italia, è diminuita. Nella ricerca emerge un divario notevole nelle ore 
trascorse settimanalmente a casa facendo compiti, tra chi ha un background 
socio-economico elevato e chi no. I ragazzi con situazioni di ‘tranquillità 
domestica”, studiano di più e ottengono risultati migliori in matematica. 
Sempre in ambito internazionale, l'indagine TIMSS attribuisce ai compiti a 
casa un ruolo importante nella vita scolastica: nelle ultime cinque indagini, 
infatti, nel Questionario insegnante e Studente ci sono domande specifiche 
sui compiti a casa!. In Italia, l'attenzione sulla relazione tra compiti a casa е 
apprendimento è stata secondaria rispetto ad altri Paesi, eppure, i dati ci sono 
e potrebbero essere utili ad aprire un dibattito scientifico basato sulle evi- 
denze empiriche. Questo sarebbe auspicabile anche in vista di un crescente 
interesse verso sperimentazioni didattiche senza compiti a casa, come quelle 
cominciate nell’anno scolastico 2017-18 che coinvolgono 166 classi della 
scuola primaria e della scuola secondaria di primo grado di cinque province 
italiane (Biella, Verbania, Milano, Torino e Trapani)?. 

Considerata quindi l’opportunità di approfondire la relazione tra com- 
piti a casa e apprendimento all’interno del nostro sistema d’istruzione, 1'0- 
biettivo principale della presente ricerca è quello di studiare la relazione tra 
tempo speso per i compiti a casa e la performance nella prova di matematica 
TIMSS, al netto di potenziali fattori confondenti. 


! Dati e questionari scaricabili previa registrazione nella sezione dati del sito INVALSI: 
https://invalsi-serviziostatistico.cineca.it/. Nelle Indagini del 2003 gli item relativi ai compiti 
a casa sono presenti nel Questionario insegnante, nel 2007 sono presenti in entrambi i que- 
stionari, mentre nel 2011 e 2015 sono presenti in quello studente. Nel 2011 e 2015 vi è un’in- 
tera sezione del Questionario insegnante intitolata “homework” o “mathematics homework" 
(la lettera “Т” indica il Questionario insegnante, mentre la lettera “5” indica il Questionario 
studente). 

2 Articolo presente al sito: https://www.tecnicadellascuola.it/niente-compiti-a-casa-per- 
gli-studenti-il-progetto-del-miur-in-cinque-citta. 
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4. Dati e metodi di analisi 


I dati utilizzati per le analisi provengono dall’indagine internazionale 
TIMSS 2015, selezionando come Paese di riferimento l’Italia. Il campione, 
rappresentativo della popolazione studentesca italiana dell’ottavo grado di 
scolarità, è composto da 4.481 studenti iscritti nell’a.s. 2014/2015 alla terza 
secondaria di primo grado che hanno sostenuto la prova di matematica. 

La scelta dell’ottavo anno di scolarità, rispetto al quarto anno della scuola 
primaria (altro anno di scolarità indagato dall’indagine TIMSS), è legata alle 
evidenze sul crescente impatto dei compiti a casa sugli apprendimenti all’au- 
mentare degli anni scolastici. Inoltre, tale scelta è orientata a focalizzare un 
livello di scolarità che sia ancora “comune”, precedente cioè alle scelte di 
orientamento scolastico differenziato, quali quelle della scelta della scuola 
secondaria di secondo grado. È stata utilizzata come variabile di outcome 
la sola performance nella prova di matematica, rispetto alla prova di scien- 
ze (altra materia oggetto di rilevazione in TIMSS), poiché tale disciplina è 
indagata anche dalle rilevazioni INVALSI da cui è stata agganciata l’infor- 
mazione sul voto conseguito al primo quadrimestre in matematica’. Inoltre, 
al dataset principale sono state unite le risposte ai quesiti del Questionario 
insegnante TIMSS 2015, per un totale di 230 insegnanti. 

Sono stati esclusi dallo studio solo gli alunni delle classi in cui è previsto 
il tempo pieno, poiché s’ipotizza che tali studenti possano avere un’incidenza 
distorta sulla relazione tra compiti a casa e performance nella prova. Essi rap- 
presentano comunque una frazione del tutto trascurabile nel campione (4%). 

Le variabili considerate per indagare il fenomeno sono: genere, origine 
migratoria", regolarità’, un indice di status socio-economico (825), livello 
di preparazione in ingresso (cfr. nota 3) e il tempo dedicato settimanalmente 
ai compiti a casa”. 


? L’INVALSI acquisisce tramite le segreterie scolastiche il voto conseguito al primo quadri- 
mestre. Tale punteggio, espresso ove possibile come media tra il voto allo scritto e il voto all’ora- 
le, rappresenta in questo lavoro una proxy della preparazione in ingresso posseduta dallo studente. 

4 Sono considerati di origine italiana gli studenti nati in Italia o all’estero da genitori 
entrambi italiani, mentre sono considerati stranieri, senza distinzione tra prima e seconda 
generazione, gli studenti nati in Italia o all’estero da genitori stranieri. 

5 In questo lavoro sono considerati regolari sia gli alunni che frequentano una classe cor- 
rispondente alla loro età anagrafica, sia gli alunni che hanno anticipato l’ingresso nella scuola. 

Sulla base delle risposte al Questionario studente TIMSS, è calcolato per ogni alunno un 
indice di status socio-economico che integra fondamentalmente tre variabili: il grado d’istruzione 
dei genitori, la loro professione, le risorse educative e culturali di cui l'alunno può fruire a casa. 

7 È derivato il tempo settimanale dedicato ai compiti a casa sfruttando due domande, 
una proveniente dal Questionario studente un’altra dal questionario insegnate: il tempo 
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Oltre alle variabili già citate, sono state definite anche alcune caratteri- 
stiche relative alla classe in cui lo studente è inserito. Fatta eccezione per 
la collocazione geografica della classe’, tali variabili sono di due tipologie: 
— variabili ottenute come aggregazione di caratteristiche individuali degli 

studenti che compongono la classe: percentuale di studenti stranieri; per- 

centuale di studenti in ritardo sul percorso di studi; SES e voto al primo 
quadrimestre medio di classe; 

— variabili desunte dal questionario-insegnante TIMSS, relative a caratteri- 
stiche della pratica didattica e caratteristiche del contesto genitoriale, così 
come è percepito e riportato dagli insegnanti delle diverse classi. 

In particolare, sono stati costruiti due indicatori che sintetizzano: il coin- 
volgimento genitoriale e la supervisione sui compiti data dall’insegnante. 
Entrambi gli indicatori sono costruiti come dicotomici per agevolarne l’in- 
terpretazione, sulla base delle risposte date dagli insegnanti a dei set di item 
proposti su scala Likert. 

Per il coinvolgimento genitoriale sono stati utilizzati 5 item su una scala 
Likert a quattro punti (da molto alto a molto basso): 

1) coinvolgimento dei genitori nelle attività scolastiche; 

2) impegno dei genitori per assicurare che gli studenti siano pronti a imparare; 

3) alte aspettative per i risultati dei propri figli; 

4) supporto dei genitori sui risultati degli studenti; 

5) pressione dei genitori per mantenere alti standard scolastici. 

Per quanto riguarda l’indicatore di supervisione degli insegnanti sui com- 
piti dei propri studenti sono stati utilizzati 5 item su una scala Likert a tre 
punti (sempre o quasi sempre, a volte, mai o quasi mai): 

1) correggere i compiti e dare feedback agli studenti; 

2) chiedere agli studenti di correggere i compiti assegnati a casa; 

3) discutere 1 compiti assegnati in classe; 

4) verificare se 1 compiti a casa siano stati svolti; 

5) utilizzare i compiti assegnati a casa per contribuire ai voti degli studenti. 
In entrambi i casi gli indicatori sono costruiti in tre passi consecutivi: 

1) per ciascuno dei cinque item è attribuito il valore “1” alla modalità che 
indica il grado più alto di manifestazione del fenomeno: “Alto” e “Molto 
alto" per il coinvolgimento dei genitori e "Sempre o quasi sempre" per 
la variabile supervisione dei compiti, mentre è assegnato valore 0 alle 
restanti modalità; 


speso per i compiti a casa giornalieri; la frequenza con cui l'insegnate assegna 1 compiti a 
settimana. 
* La collocazione geografica è stata definita a 3 categorie: Nord, Centro e Sud. 
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2) è stata creata una variabile intermedia costruita come somma dei valori 
binari assegnati al punto 1 per tutti e 5 gli item, in questo modo si ottiene 
una variabile con valori da 0 a 5; 

3) è stato generato l’indicatore dicotomico definitivo, attribuendo valore 
1 a tutti quei casi che hanno valori nella variabile definita al punto 2) 
pari o superiori a 4. La classe che presenta valore 1 sul primo indicatore, 
dunque, è caratterizzata da un alto grado di coinvolgimento dei genitori; 
ugualmente il valore 1 per l’indicatore di supervisione dei compiti iden- 
tifica le classi con un grado particolarmente elevato di feedback attribuiti 
dagli insegnanti ai compiti a casa. 

Queste variabili sono state messe in relazione con la performance nella 
prova di matematica rappresentata dai plausible values?. Nelle analisi preli- 
minari sono state osservate le relazioni grezze, come associazioni univariate. 
Nelle analisi multivariate, invece, la strategia d’identificazione dell’effetto 
netto del tempo speso per i compiti a casa sulla performance nella prova ha 
previsto un modello di regressione a due livelli, studente e classe. Tale ap- 
proccio è stato privilegiato poiché la variabilità dei dati dipende non solo da 
caratteristiche individuali, ma anche dal fatto che ogni studente appartiene a 
una certa classe, avente proprie caratteristiche che la contraddistingue dalle 
altre classi (Bryk e Raudenbush, 2002; Goldstein, 2002). 


5. Risultati 


5.1. Alcune riflessioni sui compiti a casa a partire dalle analisi de- 
scrittive 


L'analisi preliminare è partita dall’osservazione “grezza” tra tempo dedi- 
cato ai compiti a casa e punteggio alla prova. La figura 1 mostra come tale 


? I plausible values sono valori imputati simili ai singoli punteggi del test, ovvero hanno 
approssimativamente la stessa distribuzione del tratto latente misurato. I plausible values sono 
stati sviluppati come un'approssimazione per ottenere stime coerenti delle caratteristiche del- 
la popolazione in situazioni di valutazione in cui agli studenti vengono somministrati troppi 
item per consentire stime precise delle loro abilità. I plausible values rappresentano estrazioni 
casuali da una distribuzione a posteriori di valori di abilità condizionati ai valori osservati 
degli item di valutazione e delle variabili di background. Per le analisi descrittive realizzate 
con SPSS 24.0 è stato utilizzato il primo plausible value come variabile di outcome. Per i 
modelli multivariati il software statistico utilizzato, HLM, consente, nell'attuale versione, di 
considerare i 5 plausible values simultaneamente per ovviare a problemi di distorsione nella 
stima degli errori standard dei coefficienti di regressione. 
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relazione sia caratterizzata da un tipico andamento a “U rovesciata”, con 
risultati migliori che caratterizzano la categoria “intermedia”, ossia il gruppo 
di studenti che dedica ai compiti un tempo compreso tra i 45 minuti e le 3 ore 
a settimana, mentre le categorie più estreme, con un tempo dedicato allo stu- 
dio a casa breve (inferiore a 45 minuti a settimana) o elevato (superiore alle 
3 ore), sono associate a risultati inferiori (rispettivamente di 15 e 13 punti). 
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Note: differenze tra categoria “45 minuti-3 ore” e le altre significative a un livello < 0.01. 


Fonte: elaborazioni su dati TIMSS 2015 


Fig. 1- Punteggio medio conseguito alla prova TIMSS secondo il tempo dedicato ai 
compiti a casa (ore/settimana) 


La non linearità della relazione tra ore di studio e rendimento scolastico 
diventa più leggibile se vi si affianca anche un’informazione sulla “prepara- 
zione di partenza” dello studente. Possiamo ipotizzare che il tempo dedica- 
to allo studio sia influenzato da una maggiore o minore preparazione dello 
studente nei confronti della materia specifica. Nel caso in questione è stato 
possibile utilizzare il voto di matematica al primo quadrimestre per sintetiz- 
zare la preparazione in ingresso dello studente, secondo la valutazione del 
rendimento che ne dà l’insegnante. 

In figura 2 è rappresentata la distribuzione percentuale degli studenti se- 
condo le ore di studio settimanali, stratificata tra coloro che avevano un voto 
sufficiente/insufficiente al primo quadrimestre. Sebbene la proporzione di 
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studenti che dedica allo studio un tempo compreso tra i 45 minuti e le 3 ore 
sia predominante in entrambi i gruppi, si nota altresì come questa percen- 
tuale sia significativamente più elevata per gli studenti che avevano un voto 
sufficiente o superiore (55%), mentre sia decisamente più contenuta per gli 
studenti con votazione insufficiente (42%), quest’ultima a vantaggio della 
proporzione di coloro che studia meno di 45 minuti o oltre 3 ore. Questa 
rappresentazione suggerisce cautela nell’interpretazione diretta della relazio- 
ne tra tempo dedicato ai compiti ed esiti scolastici, poiché se certamente è 
plausibile ipotizzare che un maggior tempo dedicato allo studio possa favo- 
rire la riuscita scolastica come mostrato dalla letteratura esposta nel secondo 
paragrafo, è anche vero che il tempo stesso dedicato allo studio è influenzato 
della preparazione in ingresso. 


| | | 
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Note: differenze tra categoria “45 minuti-3 ore” e le altre significative a un livello < 0.01. 


Fonte: elaborazioni su dati TIMSS 2015 


Fig. 2 — Distribuzione percentuale degli studenti secondo il tempo dedicato allo 
studio, stratificata per voto in matematica sufficiente/insufficiente al primo quadri- 
mestre 
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Un'altra importante variabile fortemente correlata con la performance 
degli studenti alla prova TIMSS è il loro livello socio-economico. La figura 
3 illustra come in questo caso vi sia una relazione lineare, con un chiaro 
gradiente negativo tra risorse a disposizione e performance nella prova, che 
determina una riduzione del punteggio medio TIMSS di circa 50 punti nel 
passaggio da una categoria di risorse più elevata a quella inferiore. 

Al fianco e in aggiunta alle caratteristiche dei singoli studenti, anche le 
caratteristiche di contesto, in questo caso della classe in cui lo studente è 
inserito, possono incidere in maniera netta sugli apprendimenti. Lo stesso 
livello socio-economico, i cui effetti sono stati delineati a livello individuale, 
sembra avere un effetto ugualmente positivo sugli apprendimenti se consi- 
derato a livello di classe. La correlazione tra livello socio-economico medio 
della classe misurato su scala numerica e punteggio TIMSS è pari a 0,707. 
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Note: tutte le differenze sono statisticamente significative a un livello < 0.01. 


Fonte: elaborazioni su dati TIMSS 2015 


Fig. 3 – Punteggio medio conseguito alla prova TIMSS secondo il livello socio- 
economico 


10 Tl coefficiente di correlazione è stato calcolato con l'indice di Bravais-Pearson essendo 
entrambe le variabili continue. Tale coefficiente risulta statisticamente diverso da zero per un 
livello di significatività < 0,01. 
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Una variabile legata al livello socio-economico è quella relativa al sup- 
porto e al coinvolgimento dei genitori della classe. Essa identifica le classi in 
cui esiste una particolare attenzione dei genitori nei confronti sia dello studio 
dei propri figli che della vita scolastica e del rendimento generale. I contesti 
in cui ciò si verifica sono caratterizzati da livelli medi di performance net- 
tamente più elevati, rispetto ai contesti in cui la presenza e il sostegno dei 
genitori sono più sfumati (il punteggio medio degli studenti nelle classi con 
una presenza genitoriale forte è 517 contro un punteggio di 492 nelle classi 
con un basso coinvolgimento della famiglia). 
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Note: differenza statisticamente significativa a un livello < 0.01. 


Fonte: elaborazioni su dati TIMSS 2015 


Fig. 4 — Punteggio medio alla prova TIMSS secondo la presenza/assenza di forte 
coinvolgimento dei genitori della classe 


Infine, un aspetto altrettanto rilevante che si è potuto osservare è stato 
l’effetto che può avere sulla performance in matematica il “valore” che Гіп- 
segnante attribuisce ai compiti, attraverso la loro correzione, discussione e 
utilizzo come spunto per la didattica. La variabile dicotomica “supervisione 
dei compiti”, categorizza le classi a seconda del loro avere un insegnante che 
attribuisce una marcata importanza ai compiti a casa, rispetto a un insegnante 
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che, pur assegnandone, non vi associa spesso attività in classe. Le classi con 
alti feedback sui compiti sembrano però caratterizzate, a livello di associa- 
zione univariata, da rendimenti significativamente inferiori: 484 il punteggio 
medio degli studenti con insegnanti che praticano una supervisione forte dei 
compiti, 498 il punteggio medio per coloro che sono in un contesto di debole 
supervisione dei compiti a casa. Quest’associazione potrebbe essere dovuta 
alla presenza di variabili intermedie che distorcono l’effetto, per esempio il 
fatto che vi sia un’attenzione maggiore ai compiti nelle classi con rendimenti 
medi più bassi, oppure indicare l’esistenza di un’effettiva associazione ne- 
gativa tra pressione sullo studio a casa e rendimento degli studenti. Per poter 
trarre indicazioni più precise su questa e sulle altre relazioni mostrate, nel 
paragrafo successivo si delinea l’effetto di ciascuna al netto delle altre carat- 
teristiche, attraverso un approccio multivariato e multilivello. 
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Note: differenza statisticamente significativa a un livello < 0,01. 


Fonte: elaborazioni su dati TIMSS 2015 


Fig. 5- Punteggio medio alla prova TIMSS secondo la presenza/assenza di feedback 
degli insegnanti sui compiti a casa 
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5.2. La relazione tra compiti a casa е gli apprendimenti іп matema- 
tica: un approccio multilivello 


La tabella che segue riporta i coefficienti di regressione stimati per 1 risul- 
tati della prova di matematica della terza secondaria di primo grado nell’am- 
bito della suddetta indagine TIM SS 20151. 

Il primo modello, detto modello “0” о “nullo” perché non contiene varia- 
bili esplicative né di primo né di secondo livello, ha il solo scopo di dividere 
la variabilità complessiva della performance espressa dai plausible values 
relativi alla prova di matematica nella componente dovuta a differenze “tra 
le classi" (varianza between) e nella componente dovuta a differenze “tra gli 
alunni" dentro le classi (varianza within): il rapporto tra la varianza between 
e la varianza totale, dà il coefficiente di correlazione intraclasse (ICC), che 
indica il grado di omogeneità tra gli alunni appartenenti alla stessa classe op- 
pure di quanto la variabile-risposta, la performance nella prova di matemati- 
ca, е influenzata dal raggruppamento degli alunni. Moltiplicato per 100, esso 
indica la percentuale di varianza dovuta alle differenze tra le classi. Come 
si può osservare dalla tabella 1, questa è pari al 25,3%. La quota maggiore 
della variabilità totale dei risultati della prova di matematica è da imputare 
a differenze tra gli alunni, anche se va evidenziato come la componente di 
varianza tra le classi rappresenta più di un quarto della varianza complessiva, 
percentuale dunque non trascurabile, in particolar modo se si considera che 
si tratta di classi della scuola secondaria di primo grado, dove le condizioni 
di apprendimento dovrebbero essere più omogenee rispetto a una scuola del 
secondo ciclo. 

Nel modello 1 sono inserite le variabili socio-demografiche degli studen- 
ti: genere; regolarità nel percorso di studi; origine migratoria; tempo dedica- 
to allo studio a casa. L’effetto sulla performance di ciascuna delle variabili, a 
parità di tutte le altre, è dato dal valore leggibile sulla riga corrispondente". 


и [ modelli di regressione multilivello stimati nel presente lavoro sono а intercette casuali 
e pendenze fisse. Le variabili quantitative di primo livello (SES e voto al primo quadrimestre) 
sono centrate alla media di classe, mentre al secondo livello, le medie di classe delle stesse 
variabili sono centrate alla media generale. Le variabili categoriali di primo e secondo livello 
non sono centrate, né lo sono le variabili di secondo livello espresse come quota percentuale 
(per es. la percentuale di stranieri della classe). I modelli sono stati pesati al primo livello con 
il coefficiente di riporto alla popolazione studentesca e, al secondo livello, alla popolazione 
insegnante di matematica. 

? Per un’interpretazione più dettagliata dei coefficienti, nella tabella 1, in corrispondenza 
dell’intercetta e delle covariate elencate nella prima colonna: se la variabile è di tipo cate- 
goriale, viene codificata con 0 la categoria (o quell’insieme di categorie) definite come ri- 
ferimento e con 1 la categoria opposta: l’effetto della variabile equivale alla differenza delle 
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Per esempio, per quanto riguarda il tempo settimanale dedicato allo studio 
a casa, sia la categoria “inferiore a 45 minuti”, che la categoria “3 o più 
ore”, ceteris paribus, si traducono in una diminuzione della performance: la 
differenza è soprattutto evidente per il tempo di studio superiore alle 3 ore, 
associato al quale troviamo un decremento di quasi 17 punti nella prova di 
matematica rispetto a un alunno che impiega un tempo compreso tra i 45 
minuti e le 3 ore settimanali. 

Nel modello 2 viene inserito l’indice di background socio-economico 
centrato alla media di classe. Tale variabile, positivamente correlata con la 
performance nella prova, amplifica l’effetto negativo di chi impiega più di 
3 ore ai compiti a casa e contemporaneamente riduce l’effetto di chi dedica 
meno di 45 minuti a settimana, favorendo di fatto l’ipotesi secondo cui gli 
studenti con un alto SES possono avere delle risorse che li supportano con i 
loro compiti, fornendo loro un vantaggio. 

Nel modello 3 viene introdotta la variabile che rappresenta 1 livello di 
preparazione in ingresso dello studente, ovvero il voto al primo quadrimestre 
dello stesso anno e ambito disciplinare. Il relativo coefficiente di regressio- 
ne indica che all’aumentare di un punto ottenuto alla votazione del primo 
quadrimestre, rispetto alla media della propria classe, incrementa di circa 
30 punti la performance della prova di matematica. L'inserimento di questa 
variabile riduce, com’era da attendersi, anche l’effetto del SES e del tem- 
po dedicato ai compiti a casa, favorendo l’ipotesi secondo cui gli studenti 
che dedicano oltre 3 ore ai compiti sono probabilmente quelli che hanno 
in partenza una bassa preparazione in matematica e necessitano di tempi 
maggiori per il raggiungimento degli obiettivi. In tal caso i risultati inferiori 
non sarebbero determinati tanto dalle ore “іп eccesso” di studio, quanto dalla 
minore preparazione di partenza che determinano anche il ricorso a un tempo 
di studio maggiore. Per contro, l’effetto netto di coloro che dedicano meno 
di 45 minuti nello svolgimento dei compiti perde di significatività statistica 
rispetto alla categoria di riferimento una volta tenuto conto della preparazio- 
ne in ingresso. 


performance nella prova tra gli alunni appartenenti all’una e all’altra categoria. Quando la 
variabile è di tipo quantitativo, il suo effetto è l'incremento o la diminuzione dei plausible 
values, rispetto all’intercetta, conseguente a una variazione unitaria della variabile stessa. 
L’intercetta esprime invece la performance di un alunno medio con caratteristiche opposte 
a quelle indicate dalle variabili categoriali inserite nel relativo modello e con valori pari alla 
media per quanto riguarda le variabili quantitative. La media cui si fa riferimento è quella 
(vedi nota precedente) della classe per le variabili quantitative di primo livello e la media 
generale per quelle di secondo livello. 
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Le variabili a livello individuale spiegano tutte insieme circa il 45% del- 
la variabilità dei risultati degli alunni all’interno delle classi del campione 
TIMSS. Tale riduzione è da attribuire in larga misura all’introduzione del 
voto al primo quadrimestre in matematica che rappresenta il predittore di 
primo livello più incisivo. 

A] secondo livello, le prime variabili introdotte, nel modello 4, sono la 
localizzazione della classe in una delle tre aree geografiche dell’Italia; la 
composizione della classe in termini di percentuale di stranieri e postici- 
patari; il coinvolgimento dei genitori sulle pratiche didattiche e il feedback 
degli insegnanti sullo svolgimento dei compiti a casa. Se la classe è nel Nord 
o nel Centro, ciò induce, rispetto a una classe del Sud e a parità delle altre 
condizioni, un aumento della performance dell’alunno di circa 50 e 35 punti 
nella prova di matematica rispettivamente. La percentuale di stranieri della 
classe non produce effetti statisticamente significativi sulla performance nel- 
la prova, mentre la percentuale dei posticipatari della classe ha un impatto 
significativo e negativo, a indicare come all’aumentare del 10 per cento dei 
posticipatari della classe (rispetto a una classe che non ne ha), il rendimento 
individuale alla prova diminuisce mediamente di 10 punti. 

La supervisione dei compiti da parte degli insegnanti presenta un effetto 
tendenzialmente negativo (maggiore supervisione associata a peggiori risul- 
tati alla prova) in coerenza con quanto già mostrato nelle analisi descrittive, 
tuttavia il controllo di eventuali altri fattori intermedi, riduce le differenze 
tra i due gruppi che passano da circa 14 punti nei risultati grezzi a circa 9 
punti nel modello 4; ciononostante tale coefficiente non risulta mai significa- 
tivamente diverso da zero. Per contro, l’effetto del supporto dei genitori sui 
punteggi individuali risulta fortemente positivo e significativo (29 punti in 
coerenza con i 25 già mostrati nei risultati grezzi), a indicare come il coinvol- 
gimento dei genitori influenzi pesantemente il successo scolastico. L'effetto 
di quest’ultima variabile rimane significativo fino al modello 5, allorché nei 
modelli 5 e 6, l’introduzione del SES medio e soprattutto della preparazione 
in ingresso aggregate degli studenti della classe, catturano gran parte della 
variabilità di secondo livello, “coprendo” gli effetti di tutte le altre caratte- 
ristiche a livello classe, indicando come un contesto classe favorevole in 
termini di status socio-economico e di preparazione pregressa in matematica 
sia determinante sugli esiti individuali della prova. 

Si noti anche che l’effetto del SES medio della classe e del livello di 
preparazione degli studenti viene ad aggiungersi, data la natura additiva del 
modello, a quello dovuto all’effetto di queste variabili a livello individuale: 
ciò significa, per esempio, che un alunno il cui status personale è più alto di 
un’unità rispetto alla media della sua classe e che inoltre frequenta una classe 
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dove lo status medio degli studenti è a sua volta più alto di un’unità rispet- 
to alla media generale delle classi fa registrare un incremento della propria 
performance nella prova, rispetto all’intercetta, di circa 30 punti (modello 5). 

Ancora, la messa sotto controllo delle caratteristiche sociali e del livello di 
preparazione degli alunni della classe riduce anche fortemente il gap tra le classi 
del Nord e del Centro rispetto a quelle del Sud, allorché l’introduzione al se- 
condo livello, dello status medio degli studenti e del loro grado di preparazione 
in ingresso, assorbe parzialmente l’effetto dovuto all’ubicazione dell’istituto. 

Inoltre, è importante osservare che la varianza tra le classi spiegata dalle 
variabili di secondo livello inserite nei modelli stimati raggiunge quasi 1] 
57% del 25% iniziale dovuto alle differenze fra le classi (ICC). Infine, preso 
atto del numero di valori mancanti in alcune caratteristiche a livello studente, 
in particolare per quanto riguarda la domanda sul tempo speso sui compiti a 
casa, il voto al primo quadrimestre e l’indice SES, è stata creata una nuova 
variabile per tenere conto dell’effetto, calcolando per ogni classe la percen- 
tuale di dati mancanti e inserendola poi nell’ultimo dei modelli stimati (6): 
come si può osservare, un aumento del 10% dei dati mancanti (rispetto a 
una classe che non ne ha), non ha un effetto statisticamente significativo sui 
risultati della prova TIMSS di matematica. 


6. Riflessioni conclusive 


L’evidenza empirica ha mostrato che, chi dedica meno di 45 minuti e, in 
particolar modo chi dedica più di 3 ore a settimana ai compiti a casa, abbia 
un effetto netto negativo sulla performance nella prova rispetto a chi impie- 
ga un tempo compreso tra i 45 minuti e le 3 ore. I risultati delle analisi di 
regressione hanno mostrato come l’effetto del tempo dedicato ai compiti a 
casa sugli esiti della prova, risulti profondamente differenziato considerando 
il fenomeno a parità delle caratteristiche individuali e di classe. 

L’introduzione dell’indice di status socio-economico ha evidenziato una 
condizione di iniquità associata alla presenza di risorse a casa, mostrando 
come il tempo speso per i compiti, favorisca quegli studenti che possono fru- 
ire di più risorse, sia economiche che non. L’inserimento della preparazione 
in ingresso in matematica con cui lo studente affronta la prova, ha rivelato 
come gli studenti che impiegano più di tre ore nello studio individuale, siano 
coloro che hanno una preparazione in ingresso più debole e, quindi, neces- 
siterebbero di più tempo per lo svolgimento dei compiti assegnati. Mentre, 
sempre a parità di preparazione in matematica, gli studenti che impiegano 
meno di 45 minuti non hanno un effetto statisticamente differente da coloro 
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che studiano un tempo compreso fra i 45 minuti e le 3 ore a settimana. Га 
messa sotto controllo delle caratteristiche della classe ha evidenziato come 
il coinvolgimento genitoriale nelle attività didattiche abbia un forte effetto 
positivo e significativo sulla performance nella prova, condizionando anche 
la significatività e l’intensità dell’effetto netto di chi dedica più di 3 ore a 
settimana nello svolgimento dei compiti a casa. L'effetto del coinvolgimento 
genitoriale viene assorbito una volta introdotto il SES medio degli studenti 
della classe e il livello di preparazione in ingresso medio di classe, indican- 
do come una composizione del corpo studentesco favorevole in termini di 
status sociale e preparazione in matematica, sia prioritario nel determinare 
gli esiti della prova. Soffermando l’attenzione sull’ultimo dei modelli stima- 
ti, abbiamo riscontrato come l’effetto netto di coloro che impiega più di 3 
ore a settimana ai compiti a casa continui a mantenere un segno negativo e 
significativo seppure con probabilità d’errore inferiore al 5% ma superiore 
all’1%, anche al netto di tutte le caratteristiche degli studenti e delle classi. 
Il fatto che, anche a parità di preparazione in matematica sia individuale che 
aggregata a livello classe, coloro che impiegano molto tempo a svolgere 1 
compiti a casa conseguano un punteggio mediamente inferiore rispetto a chi 
studia un tempo inferiore (compreso tra i 45 minuti e le 3 ore), non configura 
un effetto causale, dal momento in cui lo studio non è di tipo longitudinale e 
quindi le conclusioni che se ne traggono sono trasversali, ovvero relative alla 
prova TIMSS di matematica svolta nel 2015. Le ragioni sottostanti il segno 
negativo dell’effetto netto appena discusso non sono di immediata lettura: 
possono essere imputate all’inadeguatezza dell’utilizzo del voto al primo 
quadrimestre in matematica imposto come proxy del livello di competenza 
in ingresso. Il voto che l’insegnante attribuisce allo studente, non può essere 
considerata una misura di competenza, poiché al suo interno contiene una se- 
rie di componenti che non rappresentano solo un significato di “valutazione 
di profitto”, ma anche di incoraggiamento e riconoscimento di un impegno 
dello studente. Un possibile sviluppo della presente ricerca può essere per- 
seguito utilizzando una misura di preparazione in ingresso oggettiva, come 
può essere il risultato a una prova standardizzata svolta precedentemente 
alla stessa materia oggetto d’indagine. Tale obiettivo può essere raggiunto 
quando saranno disponibili i dati dell’indagine TIMSS 2019, per la quale si 
potrà agganciare agli stessi studenti della scuola secondaria di primo grado 
che parteciperanno, il punteggio ottenuto alla prova INVALSI di quinta pri- 
maria svolta tre anni prima (2016)? come misura più precisa del livello di 


ІЗ L’INVALSI sta mettendo a punto, tramite codice SIDI degli studenti, un collegamento 
puntuale degli alunni tra le diverse rilevazioni che sostiene durante le varie tappe del per- 
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preparazione in ingresso. Una volta reperita tale variabile, verificheremo se 
l’effetto di chi dedica 3 ore o più a settimana ai compiti a casa, a parità di li- 
vello di competenza in ingresso, perderà di significatività. Un ulteriore limite 
di questi risultati risiede nell’uso della variabile “tempo dedicato allo studio” 
come rappresentativa dell’entità e dell’accuratezza dei compiti svolti a casa. 
La letteratura ha mostrato come questa variabile non sia del tutto adeguata 
a registrare efficacemente il legame tra compiti ed esiti, in quanto è essa 
stessa fortemente influenzata dalle competenze stesse dello studente (il tem- 
po maggiore di studio spesso è associato a minori competenze matematiche 
piuttosto che a una maggiore dedizione allo studio a casa) (Fan et al., 2016). 

In definitiva, se la ricerca mostra come le risorse che gli studenti hanno a 
disposizione (sia economiche che non, per esempio quelle legate al coinvol- 
gimento dei genitori), influenza il rendimento e condiziona l’effetto del tem- 
po dedicato ai compiti a casa, non si deve dimenticare che ciò che più conta 
è la preparazione pregressa che gli studenti mostrano di avere nel momento 
in cui affrontano la prova. 


Riferimenti bibliografici 


Aksoy T., Link C.R. (2000), “A Panel Analysis of Student Math Achievement in 
the US in the 1990s: Does increasing the Amount of Time in learning Activities 
affect Math Achievement?", Economics of Education Review, 19, pp. 261-277. 

Albanese O., Doudin P.A., Martin D. (2003), Metacognizione ed educazione. Pro- 
cessi, apprendimenti, strumenti, FrancoAngeli, Milano. 

Baker D.P., LeTendre G.K., Akiba M. (2005), “Schoolwork at Home? Low Quality 
Schooling and Homework", in D.P. Baker, G.K. LeTendre (eds.), National Diffe- 
rences, Global Similarities: World Culture and the Future of Schooling, Stanford 
University Press, Stanford (CA), pp. 117-133. 

Blazer C. (2009), Literature Review: Homework, Miami Dade County Public Schools, 
Miami (FL), disponibile al sito https://files.eric.ed.gov/fulltext/ED536245 .pdf. 
Bok E. (1900), *A National Crime at the Feet of American Parents", Ladies Home 

Journal, 17, p. 16. 

Bryk A.S, Raudenbush S.W. (2002), Hierarchical Linear Models: Application and 
Data Analysis, Sage, Thousand Oaks (СА), 2™ ed. 

Canadian Council on Learning (2009), A Systematic Review of Literature examining 
the Impact of Homework on Academic Achievement, Ottawa. 

Cooper H. (1989), Homework, Longman, White Plains (NY). 


corso scolastico, che consentiranno di effettuare studi longitudinali permettendo di trovare 
nessi causali. 


34 


ISBN 9788891794789 


Cooper Н. (2008), Homework: What the Research says, National Council of Теа- 
chers of Mathematics, Reston (VA). 

Cooper H., Robinson J.C., Patall E.A. (2006), “Does Homework improve Academic 
Achievement? A Synthesis of Research, 1987-2003”, Review of Educational Re- 
search, 76, pp. 1-62. 

Cornoldi C., De Beni R., Gruppo MT (2001), Imparare a studiare. Strategie, stili 
cognitivi, metacognizione e atteggiamenti nello studio, Erickson, Trento. 

Das I. (2008), Exploration ofthe Factors Related to the Cross-national Mathematics 
Achievement Gap, disponibile al sito http://search.proquest.com/docview/30444 
9895?accountid'412206. 

Dazzi C., Pedrabissi L. (2006), “Motivazione intrinseca ed estrinseca e disagio sco- 
lastico: un contributo alla validazione del test ‘Perché studio?"", Psicologia cli- 
nica dello sviluppo, 10 (2), pp. 209-224. 

De Beni R., Moè A., Ravazzolo C. (1998), “Sviluppo dello stile attributivo e rela- 
zioni con le componenti metacognitive in bambini dai 4 ai 10 anni”, Psicologia 
clinica dello sviluppo, 2 (2), pp. 245-270. 

De Jong R., Westerhof K.J., Creemers B.P.M. (2000), “Homework and Student Math 
Achievement in Junior High Schools”, Educational Research and Evaluation, 6, 
pp. 130, 157. 

Dettmers S., Trautwein U., Ludtke O., Goetz T., Frenzel A.C., Pekrun R. (2011), 
“Students” Emotions during Homework in Mathematics: Testing a Theoretical 
Model of Antecedents and Achievement Outcomes”, Contemporary Educational 
Psychology, 36, pp. 25, 35. 

Dettmers S., Trautwein, U., Lüdtke O. (2009), “The Relationship between Homework 
Time and Achievement is not Universal: Evidence from Multilevel Analyses in 
40 Countries", School Effectiveness and School Improvement, 20 (4). 

Eren O., Henderson D.J. (2008), “Тће Impact of Homework on Student Achieve- 
ment", Econometrics Journal, 11, pp. 326-348. 

Eurydice (2012), Le cifre chiave dell’istruzione in Europa 2012, EACEA/Eurydice, 
Bruxelles. 

Falch T., Renning M. (2011), Homework Assignment and Student Achievement in 
OECD Countries, Department of Economics/Norwegian University of Science 
and Technology, Oslo. 

Fan H., Xu J., Cai Z., He J., Fan X. (2017), “Homework and Students’ Achievement 
in Math and Science: A 30-year Meta-analysis, 1986-2015", Educational Rese- 
arch Review, 20, pp. 35-54. 

Fernandez-Alonso R., Suarez-Alvarez J., Muniz J. (2015), “Adolescents? Homework 
Performance in Mathematics and Science: Personal Factors and Teaching Practi- 
ces”, Journal of Educational Psychology, 107, pp. 1075, 1085. 

Ferraboschi L., Meini N. (1993), Strategie semplici di lettura, Erickson, Trento. 

Goldstein Н. (2002), Multilevel Statistical Models, John Wiley, New York, 3“ ed. 

Hallam S. (2004), Homework: The Evidence, Institute of Education, London. 

House J.D. (2002), "Relationships between Instructional Activities and Science 
Achievement of Adolescent Students in Japan: Findings from the Third Interna- 


35 


ISBN 9788891794789 


попа! Mathematics and Science Study”, International Journal of Instructional 
Media, 29, pp. 275, 288. 

Istituto nazionale di statistica (2012), “La scuola e le attività educative”, Statistiche 
report, Roma. 

Kitsantas A., Cheema J., Ware H.W. (2011), “Mathematics Achievement: The Role 
of Homework and Self-efficacy Beliefs”, Journal of Advanced Academics, 22, 
рр. 310, 339. 

Maltese A.V., Та R.H., Fan X. (2012), “When is Homework worth the Time? Eva- 

luating the Association between Homework and Achievement in High School 

Science and Math”, The High School Journal, 96 (1), pp. 52-72. 

Mason L., Arcaini S. (2001), “Motivazione all’ impegno scolastico, attribuzioni cau- 

sali e rendimento in studenti di scuola media e superiore”, Psicologia clinica 

dello sviluppo, 3, pp. 423-450. 

Moè A., De Beni R. (2002), “Stile attributivo, motivazione ad apprendere e atteg- 

giamento strategico. Una rassegna”, Psicologia clinica dello sviluppo, 6 (1), pp. 

5-36. 

Murillo F.J., Martinez-Garrido С. (2014), “Homework and Primary-school Students” 

Academic Achievement in Latin America”, International Review of Education, 

60 (5), pp. 661-681. 

NSW Department of Education and Communication (2012), Homework Policy: Re- 
search Scan, disponibile al sito https://www.det.nsw.edu.au/policies/curriculum/ 
schools/homework/Hwk Res%20scan.pdf. 

OECD (2004), Learning for Tomorrow 5 World First Results from PISA 2003, dispo- 
nibile al sito: https://www.oecd-ilibrary.org/docserver/9789264006416-en.pdf?e 
xpires-1548772574&1d-id&accname-0cid56023301 &checksum-AF287849A 
66B3988706B3FB6E4CEFDAE. 

OECD (2014), “Does Homework perpetuate Inequities in Education?”, PISA in Fo- 
cus, 46, OECD Publishing, Paris. 

Polito M. (2013), “I compiti per casa: sono efficaci? Sono inutili? Le opinioni a 
confronto di studenti, docenti e genitori”, Formazione & Insegnamento, 11 (2), 
pp. 174-175. 

Raffieuna A., Bosco L. (2006), “Strategie di screening della sindrome da DDAI nel 
contesto scolastico: uno studio pilota”, Psicologia clinica dello sviluppo, 10 (3), 
pp. 445-472. 

Stella G., Grandi L. (2011), Come leggere la dislessia e i DSA, Giunti, Firenze. 

Terreni A., Campiotti E. (1999), “Deficit metacognitivi nell’attività di studio di ado- 
lescenti con sintomatologia depressiva”, Psicologia clinica dello sviluppo, 3 (1), 
pp. 61-80. 

Trautwein U., Koller O. (2003), “The Relationship between Homework and Achieve- 
ment. Still much of a Mystery”, Educational Psychology Review, 15, pp. 115-145. 

Vatterott C. (2009), Rethinking Homework: Best Practices that support Diverse 
Needs, ASCD, Alexandria (VA). 


36 


ISBN 9788891794789 


2. Student self-beliefs and achievement 
in mathematics using TIMSS Advanced 


di Laura Palmerio*, Elisa Caponera” 


1. Introduction 


The importance of improving mathematics education among young peo- 
ple is increasingly evident, as seen from the growing interest in evaluating 
curricula effectiveness in mathematics education exhibited by different coun- 
tries’ governments (Council of the European Union, 2010, 2018; European 
Commission, 2018; OECD, 2018). High competence in mathematics and 
science is crucial for economic development and for successfully competing 
in the global market economy. Accordingly, the theme of which strategies are 
most effective for increasing the number of graduates in Science, Technol- 
ogy, Engineering and Mathematics (STEM) fields has become central; recent 
research suggests that high achievers in mathematics have more opportuni- 
ties for personal growth, are better able to find jobs and have better career 
prospects (Martin & Mullis, 2013; Nasser & Birenbaum, 2005). 

Several studies have attempted to clarify which factors are relevant to 
the improvement of student mathematics achievement (e.g., Gomes, Golino, 
& Menezes, 2014, Spinath, Spinath, Harlaar, & Plomin, 2006). In recent 
decades, the experiences of international surveys, such as the OECD PISA 
and the IEA TIMSS, have allowed the participating countries to form a more 
accurate picture of the effectiveness of their education systems. In particular, 
some countries — including Italy — show that socio-economic and cultural 
backgrounds have a remarkable effect on performance results (OECD, 2014; 
Mullis, Martin, Foy, & Hooper, 2016). 


* INVALSI - Istituto nazionale per la valutazione del sistema educativo di istruzione e di 
formazione, Roma. 
Per contattare gli autori: laura.palmerio@invalsi.it. 
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Moreover, this effect increases with the transition to higher grades іп 
school and gives rise to segregation, with the convergence of students with 
similar backgrounds in the same schools. The Italian education system must, 
therefore, face the challenge of reducing the performance gap between so- 
cio-economically disadvantaged students and socio-economically privileged 
students. A number of initiatives in different countries have been carried out 
in order to reduce this gap, and several research studies have been devoted 
to understanding context and process factors that can help explain student 
performance (e.g., Schmidt, Burroughs, Zoido, & Houang, 2015; Shin, Lee, 
& Kim, 2009). 

For example, some insights can be gained from the IEA (International As- 
sociation for the Evaluation of Educational Achievement) TIMSS Advanced 
survey, an international comparative study that measures achievement in ad- 
vanced mathematics and physics of students during their final year of high 
school who are taking or have taken advanced courses (Mullis & Martin, 
2014). TIMSS Advanced also collects information about educational con- 
texts (such as schools and teachers) that may be related to advanced stu- 
dents' achievement. TIMSS Advanced was previously administered in 1995, 
in 2008, and most recently, in 2015. Italy participated in all administrations. 
Like TIMSS, TIMSS Advanced is designed to align broadly with curricula in 
the participating education systems and, therefore, to reflect students' school- 
based learning of advanced mathematics and physics. TIMSS Advanced can 
inform policymakers, researchers, educators, and the public about the degree 
to which students in Italy excel in advanced mathematics and physics and 
may be more prepared to undertake specialized study in science, technology, 
engineering, and mathematics than their international peers 

The main goal of TIMSS Advanced is to measure and interpret differenc- 
es in national education systems to improve teaching and learning in these 
disciplines. The high quality of the data obtained through the study helps to 
increase the understanding of factors external and internal to the school that 
significantly influence student performance. 

However, as Mullis and Martin (2014) outlined, it 1s also critical for coun- 
tries to ensure that capable secondary school students receive further prepa- 
ration in advanced mathematics and science so that they are ready to enter 
challenging university-level studies that prepare them for careers in STEM 
fields. Students studying these disciplines will become the next generation 
of scientists and engineers who will drive innovation and technological de- 
velopment in all sectors of the economy; thus, it is important for countries 
to understand the mathematics and science achievement of these students as 
they begin their university-level education. 
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The assessment of achievement іп advanced mathematics is based оп ап 
evaluation of skills in algebra (expressions and operations, equations and in- 
equalities, and functions), calculus (limits, derivatives, and integrals) and ana- 
lytic geometry (non-coordinate and coordinate geometry and trigonometry). 

The achievement results of TIMSS Advanced 2015 must be framed with- 
in the context of the percentage of students taking an advanced mathematics 
course in each of the countries. Countries that obtained the best results in the 
TIMSS Advanced are the Russian Federation and Lebanon, where only 2 and 
4 percent of students respectively attended an advanced mathematics course 
during high school. In Italy, France, Portugal and Slovenia the percentages 
are quite different (25, 22, 29 and 34 percent, respectively). Nonetheless, 
France, Portugal and Slovenia are able to guarantee better results than Italy 
in advanced mathematics (Mullis et al., 2016). 

By the time students are in high school, they have already made implicit 
decisions about pursuing or not pursuing advanced mathematics and science 
courses. An examination of the factors that affect mathematics achievement 
at the end of high school is critical because it 1s in those years that students 
contemplate and negotiate future trajectories. 

Evidence from the literature suggests that mathematics achievement in 
secondary school is a function of many interrelated variables: students’ abili- 
ties, attitudes and perceptions; socio-economic variables; parent and peer 
influences; school-related variables; and others. 

It has been shown that variables related to family socio-economic back- 
ground play a relevant role in explaining mathematics achievement. Marked 
differences in mathematics achievement are indeed usually observed be- 
tween students with different socio-economic backgrounds (e.g., Levpušček, 
Zupančič, Sočan, 2013; Chiu & Xihua, 2008; Ismail & Awang, 2008; Sirin, 
2005). 

On the other hand, there is relevant empirical evidence for the fact that 
some students from disadvantaged backgrounds achieve equally good aca- 
demic results, a phenomenon known as “academic resilience". Several stud- 
ies have tried to understand what factors could help explain the reason for 
this success occurring against the odds. 

One of the most important sets of factors relates to motivational and atti- 
tude aspects forming a self-regulated learning system (Sungur & Gungoren, 
2009; Chang, Singh, & Mo, 2007; Ee, Moore, & Atputhasamy, 2003; Lau & 
Roeser, 2002). 

A central key in such a system is self-efficacy, defined by Bandura (1986; 
1993; 1997) as a person's perception of their capacity to perform a given task 
with consequences on their feelings, thinking, motivation, and behaviours. 
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Research has shown that the lack of mathematics self-efficacy is a signifi- 
cant contributor to why students do not succeed in mathematics (Siegle & 
McCoach, 2007; Pajares & Miller, 1994; Hackett, 1985) and, in general, that 
self-efficacy beliefs are significantly linked to academic performance at the 
end of high school (Caprara et al., 2008). 

Students’ academic self-efficacy beliefs have been shown to be significant 
predictors of students’ course selection (Britner & Pajares, 2006), academic 
continuance and achievement (Britner & Pajares, 2006; Klassen, 2004), col- 
lege performance and persistence (Gore, 2006; Robbins et al., 2004), grade 
point average (Robbins et al., 2004), academic aspirations (Bandura et al., 
2001), occupational self-efficacy, and career trajectories across domains and 
age levels (Britner «с Pajares, 2006; Gore, 2006; Bandura е? al., 2001; Вап- 
dura et al., 1996) beyond those accounted for by more traditional predictors 
(1.е., standardized achievement and cognitive ability). 

Researchers have supported Bandura's contention that self-efficacy and 
performance modify each other to help individuals build an appraisal of their 
competence regarding a mathematical task (Williams & Williams, 2010). 
Likewise, students with higher levels of self-efficacy are more likely to en- 
ter and eventually graduate from college (Larson et al., 2014; Parker et al., 
2014). 

Previous findings evidenced that academic self-efficacy beliefs contribute 
significantly to academic performance at the end of both junior and senior 
high school. Caprara et al. (2008) determined that academic self-efficacy 
beliefs contribute significantly to academic performance at the end of both 
junior and senior high school. 

Compared to their peers, students with higher levels of self-efficacy also 
have higher levels of general achievement in mathematics, more easily over- 
come negative outcomes, display more positive attitudes towards mathemat- 
ics, and possess a more comprehensive understanding of mathematics (Phan, 
2012; Tariq & Durrani, 2012). As self-efficacy increases or decreases, it has 
a corresponding effect on learning and academic achievement (Phan, 2012). 
Self-efficacy seems to play the central role in how well an individual can 
learn; many researchers have focused on the role that self-efficacy plays in 
the learning of mathematics (Parker et al., 2014; Zientek et al., 2013; Ozge, 
& Bindak, 2011; Kitsantas, Cheema, & Ware, 2011; Zientek & Thompson, 
2010). Ferla, Valcke and Cai (2009), for example, found that mathematics 
self-efficacy accurately predicted the corresponding PISA achievement re- 
sults in mathematics both directly and indirectly via anxiety (inverse direc- 
tion) and interest; interest also showed a direct positive relationship, while 
anxiety evidenced a direct negative relationship with achievement. 
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With regards to mathematics anxiety, for example, Ahmed, Minnaert, 
Kuyper and van der Werf (2012) found that among seventh grade students 
in the Netherlands, there was a reciprocal relationship between mathematics 
self-concept and anxiety, but the magnitude of the relationship from self- 
concept to anxiety was almost double that of the relationship from anxi- 
ety to self-concept. Although self-concept and anxiety are linked, students 
who have low self-concept are likely to be anxious; however, students who 
have higher anxiety levels do not necessarily have a low self-concept of their 
mathematics ability. 

Several studies have evidenced that anxiety also plays a (negative) role in 
students’ academic success (Ahmed et al., 2012; McMullan, Jones, & Lea, 
2012; Akin & Kurbanoglu, 2011) and that the effect is not limited to a single 
age group; the higher a student's level of mathematics anxiety 15, the less 
likely he or she is to be successful in mathematics, regardless of whether 
he or she is an elementary student, high school student, or college student 
(Nùfiez-Pefia, Suárez-Pellicioni, & Bono, 2013; Wu et al., 2012; Zakaria et 
al., 2012). Anxiety similarly affected characteristics of how college students 
performed in a mathematics course, with higher levels of anxiety leading to 
lower class attendance and lower final course grades (Hendy & Schorschin- 
sky Wade, 2014). 

Both mathematics self-efficacy and anxiety have an effect on mathemat- 
ics achievement (Ahmed et al., 2012; McMullan et al., 2012; Akin & Kur- 
banoglu, 2011). 

Furthermore, different studies have found that intrinsic motivation is pos- 
itively correlated with achievement, while the role of extrinsic motivation is 
not clear (Ayub, 2010; Walker, Greene, & Mansell, 2006). 

The aim of this study is to verify the following: 

1) whether mathematics achievement is related to students’ self-efficacy, 
anxiety, motivation and other characteristics, such as their socio-econom- 
ic status and level of educational aspiration; 

2) whether self-efficacy has a direct effect on math achievement on one 
hand, and an indirect effect, via anxiety and motivation. 
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2. Method 
2.1. Participant 


The sample consisted of 1,982 students in their last year of secondary 
education (13° grade), aged 16 to 22 years (M = 18.9, SD = 0.58); 63% of 
participants were boys. In Italy, the sample consisted of students from both 
scientific lyceums and technical institutes of the technological sector, rep- 
resenting approximately 24% of all high school students, answering math- 
ematics questions. The data were collected using both the international and 
the national option in the TIMSS Advanced 2015. TIMSS uses a two-stage 
sampling design (for a detailed description, see Martin, Mullis, Hooper, 
2016). In the following analyses, the cases with missing values in one or 
more explanatory variables were excluded. 


3. Measures 


What follows is a description of the measures utilized in this study (for a 
detailed description see Martin et al., 2016). 


Mathematics advanced achievement scale. The scale was developed at 
the TIMSS & PIRLS International Study Center, Boston College, by the re- 
search group of the TIMSS project (for a detailed description of the scale, 
see Martin et al., 2016) and consisted of multiple-choice and constructed- 
response items. Using IRT estimates, a score of mathematics achievement 
was calculated for each student. The scale used to measure mathematics 
achievement has high internal consistency (Cronbach's alpha for Italy 0.90, 
and international median 0.88). To take into account measurement errors, 
a range of five plausible values for scores in the mathematics test was pro- 
vided for each student (for a detailed description, see Martin et al., 2016). In 
the present study, the proficiency score for overall mathematics achievement 
drawn from the five plausible values obtained through the IRT methodology 
was used in the analyses. 

The following variables derived from the student questionnaire were used 
in the analyses; all ofthe scales were constructed using IRT scaling methods, 
specifically the Rasch partial credit model. Using IRT partial credit scaling, 
student responses were placed on a scale constructed so that the mean scale 
score across all countries was 10, and the standard deviation was 2 (for de- 
tailed description, see Martin et al., 2016). 
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Socio-economic and cultural status (SES): 1) student home environment, 
including the parents’ educational level and parents’ occupational status, 2) 
the number of resources for study available at home, and 3) the number of 
books at home. 


Intrinsic motivation (Like learning mathematics). The scale consisted of 
twelve questions assessing students’ agreement with statements related to 
whether they like learning mathematics, such as “I am studying mathematics 
because I like to learn new things". 


Extrinsic motivation (Value in mathematics). Students provided their lev- 
el of agreement to eight statements such as “Learning advanced mathematics 
will give me more job opportunities". 


Furthermore, answers to two single items are used in this study: 
— students expectations for their academic attainment; 
— students choice of the university scientific subjects. 


In addition, two scales from the national option were also utilized: 

— Self-efficacy in advanced mathematics. Students answered six questions 
concerning their ability to solve mathematics problems, such as “Prove 
the theorem of plane and solid geometry". A factorial analysis evidenced 
a mono-factorial structure with 5696 of the variance explained. The Cron- 
bach alpha was 0.84; 

— Anxiety in mathematics. Students provided their level of agreement to 
five statements, such as “I feel very tense when I have to solve math 
problems". The mono-factorial structure explained 64% of the variance 
and has good reliability (Cronbach alpha = 0.85). 


3.1. Data analysis 


Descriptive analyses were conducted using the software IEA IDB Ana- 
lyzer, a software program developed by the IEA Data Processing and Re- 
search Center for analysing data from all IEA surveys by means of adapted 
macros provided by IEA TIMSS (Foy et al., 2013). Structural equation 
modeling assessed the effects of socio-economic and cultural background 
and "students' beliefs” on mathematics achievement utilizing MPLUS. 
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4. Results 
4.1. Descriptive statistics 


The table below shows the descriptive statistics divided by type of school 
(scientific lyceum vs technical school). 


Tab. 1- Results in mathematics achievement by type of school 


Scientific Lyceum Technical Institute Overall sample 
Mean Se. Mean Se. Mean Se. 


TIMSS Advanced Performance 432 (5.6) 347 (13.3) 409 (5.7) 
Self-efficacy in mathematics 10.20 (0.05) 9.45 (0.13) 10.00 (0.00) 
Anxiety in mathematics 9.98 (0.06) 10.38 (0.10) 10.00 (0.00) 
Like mathematics 9.54 (0.06) 9.11 (0.07) 9.43 (0.04) 
Value in mathematics 9.38 (0.06) 9.10 (0.09) 9.31 (0.05) 


Socio-economic and cultural status 9.67 (0.07) 8.11 (0.07) 9.27 (0.06) 


In bold, the group with a significantly higher value compared to the other group (p « 0.01). 


( Standard errors appear in parentheses. 


Concerning mathematics achievement, students from scientific lyceums 
outperformed students from technical schools. The variation between the 
two groups was approximately 90 points. Students from lyceums had a high- 
er socio-economic and cultural index than their colleagues from technical 
institutes. Furthermore, students from scientific lyceums had higher levels 
of self-beliefs than students from technical institutes; while, with respect to 
value in mathematics, the difference is not statistically significant. 

The correlation analyses (Table 2) showed that mathematics achieve- 
ment was positive and significantly related to all self-belief factors. It 1s 
noteworthy that self-efficacy was the variable most strongly correlated to 
mathematics achievement (0.41 for scientific lyceum and 0.34 for technical 
institute). 
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4.2. Path analysis 


A structural equation model (SEM) was utilized to perform a path analy- 
sis in order to test a hierarchical model (cfr. Figure 1). 


47 (15) 


MATH 
ACHIEVEMENT. 


MATHEMATICS 
SELF EFFICACY 


4 (-12) 


n.s. (.12) 


To keep Figure 1 more readable, measurement errors and correlation coefficients considered in this inve- 
stigation are not depicted. 

Outside of the parentheses, the coefficients of lyceums; in parentheses, the coefficients of the technical 
institutes. 


Fig. 1 — Relationships between students beliefs and mathematics achievement 


This model had good indices according to recommended cut-off values 
(Byrne, 2001): RMSEA = 0.06 and CFI = 0.94 and explained 32% of the 
variance. 

Given that the sample is divided into students who attended two different 
educational tracks, the results are presented separately for scientific lyceums 
and technical institutes. 

In the model with all students, mathematics achievement was found to 
be strongly and positively associated with the mathematics self-efficacy (В 
= .36, р < 0.01), socio-economic and cultural index (В = .21, p < 0.01) and 
negatively associated with value in mathematics (В = -.11, p < 0.01) and 
mathematics anxiety (В = -.11, р < 0.01). University choice and Like learn- 
ing mathematics do not appear to have had a significant effect on the TIMSS 
results for the technical institute students. 
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Tab. 3 – Direct effects: beta coefficients of independent variables 


Determinants Overall Scientific. Technical 
(К? =.32) Lyceum Institute 
(R -.28) (К = .24) 


University choice SES n.s. n.s. n.s. 
Self-efficacy .30 135 19 
Children’s expected SES 30 .13 .26 
attainment Self-efficacy 23 24 43 
Anxiety Self-efficacy -.10 -.60 -.46 
Mathematics SES 21 17 15 
advanced Self-efficacy 36 33 38 
аешеуешеш Value in Mathematics -.11 .10 П.5. 
Like learning mathematics 08 п n.s. 
Mathematics anxiety -.11 -.14 -.12 
University choice .06 .11 n.s. 
Children’s expected attainment 17 n.s. 12 


Statistically significant (р < 0.01) coefficient in bold. 
Statistically significant (p < 0.05) coefficient in normal typeface. 


Self-efficacy is strongly associated with mathematics achievement in 
all models presented; the more students perceived themselves able to solve 
mathematics problems, the better they performed in mathematics. Moreover, 
the anxiety felt in mathematics was negatively associated with mathematics 
achievement in all models. Value in mathematics and like learning math- 
ematics were positive associated with mathematics achievement only in the 
scientific lyceum (В = .10 and f = .11, respectively, р < 0.01). 

Students from lyceums that chose university scientific areas (subjects) 
achieved better results in mathematics achievement (p — .11, p « 0.01); 
similarly, students from technical institutes who wanted to continue their 
studies (education) obtained better results in mathematics achievement 
(B = .12, p < 0.01). 

SES and self-efficacy are primarily directly associated with mathematics 
achievement; the indirect effects of these two variables are negligible. 


S. Discussion 
The present study investigated the role of different personal factors (stu- 


dents’ self-beliefs) in explaining students’ mathematics achievement at the 
end of the secondary cycle of education in Italy (13? grade). The model suc- 
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cessfully accounted for the achievement measured іп TIMSS, with 32% of 
the variance explained. 

According to the literature (Levpušček et al., 2013; Chiu & Xiua, 2008; 
Ismail & Awang, 2008; Sirin, 2005), context factors, which reflect the avail- 
ability/non-availability of economic and cultural resources within the family, 
play a relevant role in determining performance. 

Mathematics achievement in secondary school is a function of many inter- 
related variables: students’ abilities, attitudes and perceptions; socio-econom- 
ic variables; parent and peer influences; school-related variables; and oth- 
ers. By the time students are in high school, they have already made implicit 
decisions about pursuing or not pursuing advanced mathematics and science 
courses. Moreover, in Italy, socio-economic and cultural background affects 
students’ performance, which tends to increase with the transition to higher 
school grades, resulting in a segregation effect that results in students of the 
same background attending the same kind of school (e.g., INVALSI, 2016; 
OECD, 2016; Mullis et al., 2016). A challenge for the Italian education sys- 
tem is to reduce the gap in performance that exists between socio-econom- 
ically disadvantaged students and socio-economically privileged students. 
For example, in Italy, approximately 25% of students are eligible for TIMSS 
Advanced and divided into two different tracks: scientific lyceums, tradition- 
ally schools that prepare students for the university, and technical institutes, 
traditionally oriented towards finding a job or career after the completion of 
secondary school. The results between the two groups are quite different, with 
students from scientific lyceums outperforming their technical institute coun- 
terparts by an average of approximately one standard deviation. 

It should be noted that while scientific high schools, in the last three years 
of schooling, have four hours of mathematics per week, Technical Institutes 
— Technology sector have four hours per week in the 11th and 12th grades, 
but only three hours in the last year (13° grade). Moreover, the curricula 
established at National Level for the two tracks — Scientific Lyceums and 
Technical Institutes — are different (National Indications for Lyceums!, 2010 
and Guidelines for Technical Institutes?, 2010 and 2012, respectively). 

If we look at the freshmen in the 2015/2016 academic year in Italy, more 
than 2196 of freshmen students opted for scientific faculties, and the majority of 
them (more approximately 45%) attended a scientific lyceum (MIUR, 2016). 


! https://www.gazzettaufficiale. it/eli/gu/2010/12/14/29 1/so/275/sg/pdf. 

2 https://www.gazzettaufficiale.it/do/atto/serie_generale/caricaPdf?cdimg=12A0329 
000100010110004&dgu=2012-03-30&art.dataPubblicazioneGazzetta=2012-03-30&art. 
codiceRedazionale-12A03290&art.num-1 &art.tiposerie- SG. 
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The data депуед from TIMSS Advanced offer a detailed picture of the 
association between university choice and performance in mathematics: con- 
sidering the scientific lyceum in more detail, students who intend to choose 
university scientific areas (subjects) achieved better results in mathematics 
than students who want to pursue non-scientific areas of study. 

On average, only 37% of the students from scientific lyceums stated that 
they want to choose scientific university faculties such as physics, engineer- 
ing technologies, math or statistics, chemistry or computer science. Accord- 
ingly, the majority of students who attend scientific lyceums will not attend a 
university in scientific faculties, a stark contrast to what we expected consid- 
ering the choice of high school; approximately 7096 of students choosing non- 
scientific courses were female; women usually experience more anxiety re- 
garding mathematics and have less self-efficacy than their male counterparts. 

It should be borne in mind that many students choose the scientific track 
іп order to be prepared for a university career regardless of the faculty; while 
students who choose the technical institutes for technology are more moti- 
vated intrinsically in the choice of a high school course where they can study 
subjects of which they are passionate (for example mechanics) and that can 
also guarantee them a job after they leave school. 

This is also evident in the subsequent university choice: in fact, many 
students from technical institutes decide not to undertake university stud- 
ies to enter the labour market immediately. Interestingly, TIMSS Advanced 
data tell us that only 66% of students at technical colleges say they want to 
continue their studies at university level, while as many as 97% of students 
at scientific colleges. However, 45% of the technical institutes' students de- 
claring that they want to continue their academic career, also claim that they 
want to undertake scientific studies, compared to 37% of the students of 
scientific lyceum. In other words, technical institutes’ students motivated to 
continue studying seem more oriented towards scientific faculties than stu- 
dents of scientific high schools. 

Self-efficacy appears to be strongly associated with TIMSS scores. Ac- 
cording to the literature, the self-regulated system is based on past experi- 
ences of success/failure in a given subject but also exerts an influence on fu- 
ture performance; for example, students who feel greater self-efficacy devote 
more time to studying mathematics. 

Anxiety (negative) and intrinsic motivation related to mathematics are 
also significantly associated with student achievement in mathematics. 

Some limitations to this study should be noted. First, this study 1s based 
only on one year of school. This means that generalizations to other grades 
should be taken with some degree of caution. Second, data on students’ pre- 
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vious mathematics achievement апа self-belief system were not available for 
this study; the authors believe that a longitudinal study would help to bet- 
ter understand the relationship between mathematics achievement and self- 
beliefs regulation system over time. 

Notwithstanding these limitations, this study provides indications 
that the belief system, on which self-efficacy is based, plays a key role 
in mathematics achievement. Indeed, even though the project focuses to 
students who choose an advanced mathematics course, the results indicate 
that there is variability in the self-efficacy, anxiety and intrinsic motiva- 
tion scales. In particular, students from technical institutes perceived more 
anxiety and less self-efficacy and interest in mathematics than colleagues 
from lyceums. 

A fundamental aspect of beliefs is that they may be modified; therefore, 
it is important to consider specific interventions to shape these beliefs us- 
ing teaching and learning processes at earlier stages. One of these measures 
could already be implemented at the school guidance stage, which could take 
into account, in addition to the performance results, also the characteristics 
of the self-beliefs system. 
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3. Are there immigrant-gender gaps in education? 
An empirical investigation based on PISA data 
from Italy 


di Tindara Addabbo', Maddalena Davoli", Marina Murat* 


1. Introduction 


The existence of persistent gender and immigrant gaps in schooling (dif- 
ferences in scores between girls and boys and between immigrants and na- 
tives) across countries and time clearly emerges from several waves of the 
Program for International Student Assessment (PISA) and other surveys on 
students’ performances. PISA data (OECD, 2016a), which investigate fifteen 
year old performances in reading, mathematics and science, show that — ex- 
cept for a few countries — fifteen-year-old girls perform below boys in mathe- 
matics and above them in reading. Relative performances in science are more 
heterogeneous. In addition, the scores of immigrant students tend to be below 
those of natives in the three areas. Less known and explored are the joint ef- 
fects of gender and immigrant status on schooling performances. However, 
these stylized facts do suggest some questions. One is whether being female 
and immigrant leads to stronger disadvantages in mathematics than those cor- 
responding to each of the two characteristics taken separately. Similarly, an- 
other is whether being male and immigrant widens the gap in reading. This 
paper attempts to measure immigrant-gender gaps in mathematics, reading 
and science, specifically focusing on the case of Italy. To this end, we estimate 
an educational production function using data from the 2015 PISA survey. 
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Several waves of PISA data from Italy show that the country is charac- 
terized by persistently negative gaps of girls in math and in science, and 
positive ones in reading. The negative girls’ gaps are slightly wider than the 
OECD average, while their advantage in reading is narrower. Moreover, the 
performance of immigrant students is below average in all areas (OECD, 
20162). 

The economic and sociological literature has thoroughly documented 
the importance of education, especially regarding workers’ human capital 
formation and access to the labour market (among others: Heckman and 
Mosso, 2014). Moreover, the capability approach highlights the central role 
of schooling in enabling capabilities to develop (Addabbo, Di Tommaso, 
& Maccagnan, 2016; Terzi, 2007). In general, there is a positive and robust 
correlation between wages in the labour market and workers” education, es- 
pecially with their mathematical knowledge (Machin & Puhani, 2003). Few 
empirical studies focus on the possibly interactive nature of gender and im- 
migration background, and most do so with respect to labour market out- 
comes (see, among others, Zaiceva, 2010). 

Many cross-country studies in education confirm the importance of gen- 
der and immigrant status on schooling performance (OECD, 2015а, 20155; 
Azzolini, Schnell, & Palmer, 2012). They show that the relative disadvan- 
tage of immigrant students tends to be related to families’ economic and 
social resources and to the country's school system (Murat & Frederic, 2015; 
OECD, 20155), while the negative girls’ gap in mathematics is also cor- 
related with social norms and gender inequalities within countries (Guiso 
et al., 2008, Nollenberger et a/., 2016). Rodriguez-Planas and Nollenberger 
(2018) extend the analysis to science and reading. 

Also in Italy family background plays a key role among the determinants 
of educational achievements (Bratti, Checchi, & Filippin, 2007; Giambona & 
Porcu, 2015). Furthermore, Italy is generally characterized by a high degree 
of regional heterogeneity in students’ educational achievements, with better 
performances in the Northern regions of the country, matched with regional 
disparities in the quality of the school system (Agasisti & Vittadini, 2012; 
Quintano, Castellano, & Longobardi, 2012; INVALSI, 2017). The school 
attended affects results because the Italian school system is characterized by 
early tracking (at the age of 14) between general (lyceums) and vocational 
schools, and because of differences in curricula between schools of the same 
type. Students enrolled in general education tend to perform better than those 
enrolled in vocational schools (INVALSI, 201 7). 

Immigrant students tend to attend vocational rather than general schools, 
and are more concentrated in the Northern and richer regions of the country. 
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In turn, girls tend to attend schools with fewer hours of math and science. 
Bratti, Checchi and Filippin (2007) find that the socio-economic conditions 
of students’ households affect the choice of school, but other factors also 
matter for the higher propensity shown by immigrant students to attend vo- 
cational schools (Barban & White, 2011). 

To test the effects on test performance of gender, immigrant status, and 
the interaction between the two, we use an educational production function 
that includes several inputs. Among them are students’ demographic charac- 
teristics, the socio-economic conditions of their families, the language spo- 
ken at home, the types of schools attended, the regions of residence and, for 
immigrant students, the age of arrival. 

As expected, we find that girls perform better than boys in reading and 
worst in math and science, while immigrant students perform persistently 
below natives. More interestingly, the interaction between the immigrant 
and gender dimensions reveals that negative gender gaps are more severe 
within native population rather than among immigrant students and positive 
gaps are wider among immigrant students. More specifically, immigrant 
girls are less at a disadvantage with respect to immigrant boys in math and 
science and more advantaged in reading than what could be anticipated by 
the separate performances of the two categories. Overall, the widest disad- 
vantage is that of male immigrant students in reading. Other results are that 
immigrant and gender gaps are strongly affected by the school attended, the 
age of immigrants' arrival in Italy, family economic and social conditions 
ad language spoken at home. The remainder of the paper is as follows. The 
next section reviews the survey data used and present some descriptive sta- 
tistics; then the empirical strategy and the results are presented and, finally, 
the last section concludes. 


2. Data and descriptive statistics 
2.1. Data 


To test our hypothesis, we use the 2015 wave of PISA assessment, focus- 
ing on the sample of Italian schools and using information from both the Stu- 
dent Questionnaires and the individual test scores. The full sample includes 
11,583 students enrolled in over 450 schools, representative of the Italian 
population of 15 years old students. The Italian PISA dataset (as for most 
of the other participating countries) is the result of a two-stage stratified de- 
sign, where, first, individual schools are sampled, and secondly, students are 
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sampled within sampled schools. АП throughout the paper we make use of 
the final student weights, which allow us to scale the sample up to the size of 
the Italian population and take into account the oversampling of specific Ital- 
ian regions (Lombardy and Campania) and provinces (Trento and Bolzano). 
The number of students in the nationally defined target population that our 
analytical sample represents is 480,600, covering over 95% of the desired 
national population. 

Several variables present a number of observations inferior to the full 
sample, as a small percentage of students did not provide all the neces- 
sary information asked by the Background Questionnaire. Because of our 
specific interest in assessment gaps by gender and immigrant status, we 
restricted the sample to those students that can be classified according to our 
immigrant variables. Moreover, we excluded from the analysis individuals 
with missing information on the set of other relevant covariates, such as 
ESCS (index of economic, social and cultural status) and grade repetition. 
Hence, our final sample consists of 11,205 observations, where about 3% 
of the initial full sample was dropped'. The weighted means and standard 
deviations of the scores and the variables used in the analysis are in Table 
AI in the Appendix. The Table shows that girls constitute about 51% of the 
sample employed in our study, while the proportion of immigrants is about 
8% (and immigrant girls are about half of the immigrant population). 

Given that each participating student in PISA survey answers a limited 
amount of questions taken from the total test item pool, OECD provides ten 
test scores (known as plausible values), which can be interpreted as multiple 
imputed values of students’ performance based on students’ answers to the 
test and their background questionnaires. The difficulty of each item repre- 
sents a weight, used to compute the weighted averages of correct respons- 
es. This approach allows having a measure of an individual's proficiency 
for each student in each subject area, regardless of the questions actually 
answered. We employ the recommended OECD strategy for estimation of 
coefficients and their variances, making use of all ten plausible values all 
throughout the main analysis. 


! Our tests show that dropping observations with missing information causes a slight 
upward bias in test scores. However, such a small percentage of dropped observations should 
not significantly affect results, even if the selection on missing variables may not have hap- 
pened at random. 
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2.2. Descriptive statistics 


Italian PISA data provide an interesting base for analysing potential im- 
migrant-gender gaps in education, first for their representativeness of the 
Italian student population, and secondly because marked and significant gen- 
der and immigrant imbalances in Italy have been registered over different 
cross-sections of the survey. According to PISA 2015, Italian girls on aver- 
age do better than boys in reading-related skills by 16 standardized points 
(with Italy scoring on average 485 points) and worse than boys in science 
and math by about 17 and 20 standardized points (with a country average of 
481 and 490, respectively). The latter is one of the largest gender gaps across 
PISA-participating countries. 

Regarding inequalities by immigrant status, the interest of Italy resides 
on the rapid growth of its immigrant population, which has determined a 
doubling of the share of immigrant students on the total students’ population 
(OECD, 2016b). This crucially enhances the role of the educational system 
in easing the integration process (Barban & White, 2011). Immigrants in 
Italy tend to perform persistently below natives in all fields, but — differently 
from the gender gap — this disadvantage has narrowed along the last decade. 
(OECD, 20166). 

The descriptive statistics by gender and immigrant status show the im- 
migrants' disadvantage in the test scores of all subjects, with a larger gap 
for boys in reading (Table 1) (mean values in test scores for the whole stu- 
dent population, in Table A1 in the Appendix, confirm the higher average 
girls’ achievement in reading and higher boys’ achievement in mathematics 
and science). The occurrence of repeated grade is higher for immigrants, 
with immigrant boys registering the highest share (38%), followed by im- 
migrant girls (23.8%), native boys (17%) and native girls (10%). Turning 
to the language spoken at home, a language different from Italian is spoken 
more frequently in immigrant students' households, with percentages of 
about 62% for immigrant boys and 55% of immigrant girls, 15% for native 
boys and 10% for native girls. Table 1 also shows a higher presence of im- 
migrant students in Lombardy than in Campania, which is in line with the 
overall higher presence of immigrants in the Northern and central part of 
the country. 
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Tab. 1 — Descriptive statistics by gender and by immigrant status 


Male Female 
Variable Native Immigrant Native Immigrant 
(N — 5,128) (N — 428) (N — 5,186) (N — 463) 
Test score: read 483.16 427.2776 497.846 454.196 
(3.559) (7.617) (3.697) (6.755) 
Test score: math 505.859 463.094 483.293 455.712 
(3.608) (8.261) (3.513) (6.674) 
Test score: science 494.266 456.025 475.512 449.225 
(3.224) (6.462) (3.646) (6.165) 
ESCS 0.03 -0.395 -0.087 -0.576 
(0.024) (0.062) (0.028) (0.056) 
Repeated grade 0.169 0.380 0.103 0.238 
(0.008) (0.035) (0.008) (0.024) 
Age 15.8 15.80 15.81 15.85 
(0.006) (0.023) (0.007) (0.020) 
Language at home 0.154 0.621 0.099 0.554 
(0.010) (0.032) (0.007) (0.038) 
School type: general 0.397 0.275 0.627 0.462 
(0.017) (0.039) (0.018) (0.036) 
Bolzano 0.010 0.012 0.011 0.009 
(0.000) (0.001) (0.000) (0.001) 
Trento 0.010 0.013 0.010 0.013 
(0.000) (0.002) (0.000) (0.001) 
Lombardy 0.153 0.247 0.152 0.208 
(0.010) (0.032) (0.011) (0.036) 
Campania 0.119 0.017 0.111 0.027 
(0.008) (0.006) (0.007) (0.007) 


Notes: The full sample of interest is employed. Immigrant students are both “Il generation", born in Italy 
from two parents born abroad and “І generation", born outside the country. The mean of the test scores 
has been computed using all 10 plausible values. All results are weighted. 


3. Empirical strategy 


We seek to test gender and immigrant gaps in PISA test scores for the 
three main subject areas — mathematics, reading and science – by using the 
following base specification: 


Tj = a + B, Еетаје -8;Immig;; + Вз (Female * Immig) + ҮХ + 65) + £i (1) 
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Where Т; is the test score of student i within school j, standardized for 
each subject to have a mean of zero and a variance equal to one. At the 
individual level, besides gender, immigration status and the interaction be- 
tween the two, we include information about age, grade repetition, an index 
of socio-economic status of the students’ family, ESCS, and a set of dummies 
concerning the (immigrant's) age of arrival into the country. A dummy takes 
value 1 if the main language spoken at home is not Italian and zero other- 
wise. OLS specifications include geographical variables for some regions 
and provinces (those for which data are available in PISA 2015), and a dum- 
my for the school type attended, which, following PISA 2015, can only be 
vocational or general. In FE specifications, we include Sj, a full set of school 
dummies. E; is the individual error term, estimated with a Huber-White ad- 
justment to take the clustering of students within schools into account. 

The coefficients of interest are В, В, and B., related to the gender, immigra- 
tion and immigration-gender variables. Ideally, we would like to observe the 
country of origin of immigrant students, but this information is not available 
from Italian PISA data. Hence, our variable is a dummy taking value one for 
students who were either born abroad or had both parents of foreign origin, 
and zero otherwise. In this classification, native students have at least one par- 
ent of Italian origin. We estimate equation (1) separately for each PISA sub- 
ject. In each estimation process, we use students’ sampling weights, replicate 
weights and the ten plausible values of students’ scores present in 2015 data. 
The school fixed effect specification is our preferred one, as it allows taking 
into account the great heterogeneity of the Italian schooling situation across 
regions, school types and curricula. Relatively to the OLS specification, it 
shows whether school effects influence coefficients on gender, origin, their 
interaction, socio-economic background and other cofactors. 

In a second part of the analysis, we test marginal effects in the full speci- 
fication of equation (1). They show the scores of students of each type — na- 
tives, immigrants, girls and boys — as deviations from the means, and hence 
the gaps in performance within groups. Secondly, we test the specification of 
equation (1) on the two separate female and male subsamples. This allows 
to measure how immigrant students perform relatively to peers of the same 
gender and to analyse the incidence of cofactors within each group. Subse- 
quently, we use the Oaxaca-Blinder decomposition (Oaxaca, 1973; Blinder, 
1973) to disentangle the part of gender gaps that can be explained by differ- 
ences in observed variables from the part that remains unexplained. 


ДТ = (ay — ам)+(Ви Br) Xr+ Bu (Xm — Хе) (2) 
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Where Вм(Хм – Хғ) concerns the observed part, regarding students’ 
characteristics and other household's and school related variables, and 
(ом — am)+(Bm—ßBr)Xr relates to differences in the returns of each variable 
included in the model, or to unobserved variables affecting reading, math- 
ematics and science scores. 


4. Results 


4.1. Base specification 


Tables 2, 3 and 4 show the OLS regression coefficients in columns 1 
and 8 and school FE regression coefficients in columns 2 to 7 and 9. Re- 
sults evidence some main patterns. First, as expected, coefficients on our 
first variable of interest, Female, are positive and significant in reading and 
negative and significant in math and science. Second, coefficients on the Zm- 
migrant variable are always negative, in all specifications for the three sub- 
jects. Third, the coefficient on the interacted variable, Female*Immigrant, 18 
always positive, although significance is below 10%. Hence, immigrant girls 
perform better than what could be anticipated, given the double characteris- 
tics of being immigrant and female (the latter for math and science). More 
specifically, negative gender gaps in math and science are smaller within the 
immigrant group than within natives, and the positive gender gap in reading 
is wider among immigrants, as emerge even more clearly in the marginal ef- 
fects reported in Table 5. In general, we observe from Table 5 that the biggest 
disadvantage is experienced not by immigrant girls in math and science, as 
expected, but by immigrant boys in reading. Male students with an immigra- 
tion background experience a disadvantage which is almost equal to 2/3 of 
a school year in reading (-0.20, column 5, Table 5). Following Woessmann 
(2016), across PISA-OECD countries, a school year corresponds to about 
0.33 standard deviations. 

Another result worth nothing relates to the gender gap among immigrant 
and native populations. Table 5 shows that the score differential between 
girls and boys is more favourable to girls within the immigrant group than 
within natives, across all subject areas. More specifically, the female advan- 
tage in reading is larger among immigrant students (0.15, in column 6, Ta- 
ble 5, versus 0.09 among natives), and the girls’ disadvantage in math and 
science Is more severe among Italian students (-0.23 and -0.22, and -0.15 
and -0.13, respectively among immigrant students). Hence, immigrants are 
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disadvantaged at school, but immigrant girls perform above expectations in 
all subjects. 

These results may depend on several factors. Some we cannot test be- 
cause of lack of data. Among these are culture, gender norms, institutions 
and school systems of the countries of origin, all of which can influence 
the school performance of immigrant girls and boys in the country of resi- 
dence (Nollemberger et al., 2016). The motivation to exert effort in certain 
subjects and the interest in succeeding at school can also differ among 
immigrants and natives and among boys and girls. However, our data al- 
lows the analysis of other important cofactors, which are considered in the 
following Tables. 

A result common to the three fields 15 that immigrant gaps significantly 
shrink when school effects are included into the regressions. This emerges 
from comparing columns 1 and 2 in the three Tables, and concerns espe- 
cially math and science. Column 2, by including school fixed effects, con- 
trols for school types and different curricula in schools of the same type. 
As immigrant students are relatively more present in technical and voca- 
tional schools, which exhibit on average lower performances than general 
schools, within schools the immigrant disadvantage 15 smaller than across 
them. 

Coefficients associated to the immigrant status shrink further when the 
age at arrival in Italy is considered: we observe a particularly negative effect 
for students who arrived in the country after the school starting age, i.e. 6 
years. The age effect is especially strong in reading and science-related skills 
and lower and less significant in math. 

Other cofactors tend to be correlated with the immigrant score gap; among 
them, Language at home, Repeated grade and ESCS. This is not surprising 
when we consider that the proportion of immigrant students not speaking 
Italian at home and repeating a grade is substantially higher than that of na- 
tives, and that their socio-economic condition is generally below average 
(Table A1). Coefficients on Language at home and Repeated grade are nega- 
tive, wide in magnitude and significant at the 1% level in the three subjects 
(columns 5 Tables 2-4). In particular, repeating a school year leads to lower 
scores by about 0.45 standard deviations in reading, 0.53 in mathematics and 
0.42 in science. Another factor strongly affecting results is the economic and 
social status at home, ESCS. 
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Tab. 5 – Marginal effects ој gender апа immigrant status (School FE) 


(1) (2) (3) (4) (5) (6) 
Native Native Gender gap, Immigrate | Immigrate Gender gap, 
girls boys Natives girls boys Immigrants 
Reading 0.08*** -001 0.09%% -0.05 -0.20*** 0.15** 
(0.013) (0.014) (0.052) -0.058 
Math -0.09*** 0.14*** -(,23%% -0.07 0.08* -0.15** 
(0.015) (0.015) (0.054) (0.054) 
Science -0.09*** 0.13*** -0.22** -0.09* 0.04 -0.13 
(0.013) (0.012) (0.06) (0.054) 
Cofactors Yes Yes Yes Yes Yes Yes 
Observations 11,205 11,205 11,205 11,205 


Notes: Robust standard errors, clustered at the school level, in parentheses. 
##* p< 0.01, ** p < 0.05, * p< 0.1, р < 0.15. 

First plausible value employed. 

All results are weighted and replication weights are taken into account. 


Column 8 (OLS) includes these variables, the attendance of general 
rather than vocational schools, and fixed effects for the provinces of Trento 
and Bolzano, and the regions of Lombardy and Campania. Specifically, the 
average school performance of students in Lombardy, Bolzano and Trento, 
located in the Northern part of the country, are strongly and significantly 
above average in all fields, while that of students in Campania, in the South 
of Italy, is significantly below. Moreover, attending a general rather than a 
vocational school increases reading and science scores by about 0.6 standard 
deviations, and the score in mathematics by 0.46 (significance at 1% in the 
three cases). Hence, attending a general rather than a vocational school im- 
plies an advantage in mathematics corresponding to more than a school year 
(Woessmann, 2016). With these controls, coefficients on Immigrant in the 
three fields — reading, math and science — lose their significance. 

Compared to columns 8, the introduction of school FE in the full models 
of columns 9 tends to increase the magnitude of coefficients on Immigrants 
and, in the case of reading and science, also their significance. Hence, when 
all cofactors are controlled for, there is still a significant within-schools dis- 
advantage of immigrant students т reading and science. At least partially, 
this can be related to the geographic distribution of immigrant students 
across the country. The immigrant student population is proportionally 
higher in the productive provinces and regions of the North-Centre of Italy, 
where school outcomes and native students’ socio-economic characteristics 
are above average. Beyond Lombardy, Trento, and Bolzano, which are high 
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performing regions, regions such as Emilia-Romagna, Veneto, Piedmont and 
Tuscany (not separately identifiable in PISA 2015), also register above aver- 
age scores, together with a substantial presence of immigrant students and 
a more favourable students’ ESCS on average. Hence, once school fixed ef- 
fects and all the included regressors “absorb” this provincial and regional 
distribution, immigrant students of rich and high performing regions score 
below natives within schools (column 9), but across schools they have a 
good performance relatively to students in the Southern and poorer regions. 
In the country as a whole, this is captured by the smaller and less significant 
OLS coefficients of columns 8. 

Specifically, the within-school immigrant gap in reading 1s wide and sig- 
nificant at the 5% level (column 9, Table 2); it is narrower in science, but 
still significant, at the 10% level (column 9, Table 4); and it is still nega- 
tive in mathematics, but not significant (column 9, Table 3). This suggests 
that factors such as immigration background and culture may slow down the 
learning of the language, literature and history of the host country — and in a 
lesser degree of science —, but have a lower influence on math, which is com- 
paratively more “culture-free”. Similar results can be found in Murat (2012). 

Another result worth noting is that the introduction of school fixed effects 
significantly affects also girls’ scores relatively to boys’ in the three subjects, 
but especially in math. Coefficients on Female shrink from column 8 to col- 
umn 9 in all three subjects. The differences between the two coefficients are 
statistically significant at the 1% level in math and science, and at the 1096 in 
reading. These differences can be explained by the relatively higher presence 
of girls in general schools, comprising curricula with fewer hours of math 
and science. Moreover, once schools and all cofactors are considered, the 
girls’ disadvantages in mathematics and science more than compensate their 
advantage in reading (columns 9, Tables 2-4). 


4.2. Female and male immigrant gaps 


This Section tests the immigrant gap in reading, math and science on the 
two separate subsamples of female and male students. In Table 6, we use the 
complete OLS and FE models (corresponding to columns 8 and 9). Coef- 
ficients on the /mmigrant variable report the difference in scores between 
native and immigrant students of the same gender. 
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The first general and interesting result is that immigrant girls do not ех- 
perience a significant disadvantage with respect to native girls in any of the 
three subjects, both across (OLS) and within schools (FE), since the coeffi- 
cients on Immigrant are not significant in the even columns (Female) of Ta- 
ble 6. On the other hand, immigrant boys register negative gaps with respect 
to native boys in the three subjects, wider and more significant when school 
effects are included into the regressions (Male columns). As above, wider 
gaps within schools can be related to the geographical distribution of im- 
migrant students in the country and their self-selection in lower performing 
schools on average. Specifically, once school effects are considered, immi- 
grant boys score below native boys by about 22 standard deviations in read- 
ing, by 16 in mathematics and by 24 in science (columns 3, 7 and 11 of Table 
6). A comparison of immigrant gaps in the female and male sub-populations 
shows that the difference across the two groups is significant for math and 
science. The two coefficients on the /mmigrant variable statistically differ 
at the 15% level for mathematics and at the 10% level for science. Hence, 
the school performance of immigrant girls in math and science is not very 
different to that of native girls, differently than that of immigrant boys, who 
exhibit a considerable disadvantage relative to native boys. In reading, where 
in the overall population girls outperform boys, immigrant boys experience 
a further disadvantage, as their scores are significantly below those of native 
boys (column 3, Table 6). On the other hand, the immigrant girls’ perfor- 
mance in reading is not significantly below that of native girls. 

The incidence of cofactors affecting girls and boys performances par- 
tially differs. Among these, the language spoken at home has a significantly 
stronger impact on the proficiency levels of boys. Moreover, the difference in 
coefficients on Language at home across the female and male samples is sta- 
tistically significant in reading and math at the 10% level in the OLS regres- 
sions (columns 1-2 and 5-6), and in science at the 1% level (columns 9-10). 

In all subjects and specifications, the economic and social condition of 
the student's family, ESCS, significantly affects results. However, it has a 
stronger impact on girls’ performances. Differences in coefficients on ESCS 
between boys and girls (between columns 1 and 2; 5 and 6; 9 and 10; Ta- 
ble 6) are significant at the 5% level in the three subjects. They shrink for 
both girls and boys once schools attended are included into the regressions. 
This selection effect of schools, based on economic and social conditions at 
home, supports previous results (Agasisti & Vittadini, 2012; Bratti, Checchi, 
& Filippin, 2007). We have estimated a Probit model that consistently shows 
a positive impact of a higher socio-economic status on the probability of 
attending the general track (results available upon request). Once all cofac- 
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tors have been considered, being girl increases the probability of attending 
a general — rather than vocational - school by 26 percentage points. The 
immigrant status does not significantly affect the probability of attending a 
general school, but talking at home a language different than Italian reduces 
by 12% the probability of attending general schools. 


4.3. Explaining the gender gap in test scores: Oaxaca-Blinder de- 
composition 


In this section we use the Oaxaca-Blinder (OB) decomposition of the 
differentials in reading, math, and science between the two sub-populations 
of boys and girls and, subsequently, of natives and immigrants. This implies 
decomposing the gap between the two groups into a part due to differences 
in the mean values of the independent variables within the groups, on the one 
hand, and group differences in the effects of the independents variables, on 
the other hand (O'Donnell et al., 2008; Jann, 2008). 

The decomposition by gender is based on the FE models of Table 6 
(columns 3-4; 7-8; 11-12) and is presented in Table 7. The predicted means 
in test scores in the different disciplines confirm the findings of a girls’ 
disadvantage in mathematics and in science and a boys’ disadvantage in 
reading: the gender net gap in education — controlling for all cofactors — is 
positive for girls in reading (0.17) and negative in mathematics (-0.23) and 
science (-0.21). 

OB allows to decompose the gender gap in one part related to differences 
in the magnitude of the observed characteristics affecting test scores of girls 
and boys (explained part) and another part related to the difference in the 
effects of the factors and to unobserved variables (unexplained part). The 
part attributable to differences in the measured means of the observed char- 
acteristics for girls and boys in the three fields shows a better performance 
for girls. Overall, the Oaxaca-Blinder decomposition shows that the largest 
part of the gender gap in the educational achievements can be attributed to 
the differences by gender in the effects of the factors included in the model 
(-0.26 in mathematics, -0.23 in sciences and +0.15 in reading), but we cannot 
exclude that it can also be related to unobservable factors not included in our 
specification. 
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Table А2 in the Appendix uses the complete FE specification to тер- 
licate the above regressions on the two subsamples of natives and immi- 
grants. Results confirm previous findings: both immigrant boys and girls 
have lower predicted average mean test scores in math, science and read- 
ing but immigrant girls do not perform significantly worse than immigrant 
boys in math and science. Moreover, interestingly, not only immigrant girls 
perform above immigrant boys in reading, but also their advantage is wider 
than that of native girls relatively to native boys. Gaps in reading are at 
the advantage of girls, respectively, 0.28 for immigrant girls and 0.17 for 
native girls. 

The OB (Table 8) decomposition of the net test scores gap by gender be- 
tween natives and immigrants confirms for each group a higher unexplained 
part of the differential related to the effects of the factors rather than to the 
difference in the magnitudes of the characteristics included in the model. An 
interesting result concerns the higher impact of observed differences in the 
characteristics at the advantage of girls, for immigrant, excluding reading 
where the unexplained part of the gap is higher amongst immigrant than 
natives. In Science, the contribution of the observed characteristics at the 
advantage of girls to the differential compensates the unexplained part of the 
differential for immigrant more than for natives, leading, on the whole, to a 
lower differential in scores. 


5. Conclusions 


Several waves of PISA and other surveys have shown that cross-country 
and through time girls tend to perform below boys in mathematics and above 
them in reading. In Italy, girls perform below average in math and science. 
At the same time, immigrants tend to have lower scores than natives. These 
stylized facts suggest that immigrant girls may experience a bigger disadvan- 
tage in education (at least in the areas of mathematics and science) or, more 
generally, that gender and immigration background may interact in affecting 
test scores. 

Testing PISA 2015 data from Italy we found that, differently from what 
expected, immigrant girls are not disadvantaged relatively to immigrant 
boys in math and science, while significantly outperform them in reading. 
At the same time, immigrant boys appear to perform worse as compared to 
their native peers in the three fields, a disadvantage that we do not observe 
for immigrant female as compared to native girls. More specifically, across 
all specifications, immigrant boys struggle the most in reading. Within 
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schools, апа considering all cofactors, the immigrant boys’ negative gap 
in reading corresponds to about two thirds of a school year. We also find 
significant heterogeneous effects across the gender dimension, with several 
factors affecting the performances of girls and boys differently. A language 
different from Italian being spoken at home has a stronger (negative) im- 
pact on boys, while the family's economic and social conditions especial- 
ly influence the school performance of girls. For both immigrant groups, 
the age of arrival into the country plays a crucial role. Arriving after the 
age of compulsory schooling has a negative impact on scores: this affects 
performance especially in reading-related fields. Immigrants attend voca- 
tional school relatively more than native students, and immigrant boys do 
so more than immigrant girls. This partly explains the difference in scores 
between natives and immigrant, being narrower for girls as compared to 
guys. However, also within schools, the immigrant girls’ gap is smaller and 
less significant than initially expected. 

Considering the important role played by reading as a base to develop 
other skills and for the whole cognition and thinking process (Kern et al., 
2008), results on immigrant boys are interesting starting points to think about 
targeted integration policies. More generally, policy measures should espe- 
cially address the economic and social conditions of boys and girls immi- 
grants’ families and the language spoken at home. The social integration and 
language education of parents would strongly improve the performance of 
immigrant students. 
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Аррепдіх 


Tab. А1- Descriptive statistics 


Variable Obs Mean SD Min Max 

Test score: reading 11,205 486.704 2.667 145.12 775.586 
Test score: math 11,205 491.6585 2.893 140.802 822.637 
Test score: science 11,205 482.2236 2.505 120.419 803.295 
Female 11,205 0.508 0.015 0 1 
Immigrant 11,205 0.079 0.005 0 1 
Female*Imm 11,205 0.04 0.003 0 1 
ESCS 11,205 -0.066 0.018 -4.4318 4.0683 
Grade repeated 11,205 0.149 0.006 0 1 
Age 11,205 15.807 0.005 15.25 16.33 
Language at home 11,205 0.163 0.163 0 1 
Arrival age 0-3 11,205 0.011 0.002 0 1 
Arrival age 4-6 11,205 0.013 0.002 0 1 
Arrival age 7-9 11,205 0.009 0.002 0 1 
Arrival age 10-12 11,205 0.010 0.001 0 1 
Arrival age 13-15 11,205 0.005 0.000 0 1 
School type: general 11,205 0.502 0.012 0 1 
Bolzano 11,205 0.010 0.000 0 1 
Trento 11,205 0.010 0.000 0 1 
Lombardy 11,205 0.158 0.006 0 1 
Campania 11,205 0.108 0.004 (0) 1 
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4. Placing literacy in cultural contexts: 
to what extent do sub-national differences 


in OECD PISA literacy scores reflect 
cultural heterogeneity in cognition and motivation? 


di Marco Spampinato* 


1. Introduction 


1.1. The PISA approach to item bias, measurement equivalence, and 
culture 


Item bias in literacy assessments and cultural biases in cognitive tasks can 
be regarded as opposite sides of the same coin. This, however, 15 not always 
the case. Unsystematic sources of bias — i.e., various sources of errors and 
inaccuracies in testing — may create forms of measurement inequivalence 
between groups of respondents that are not cultural in nature. 

Culture 1s therefore a plausible source of item bias only when a system- 
atic deviation of a pattern of responses is observed in a group of test takers 
in respect to the expected behavior of the whole tested population. This bias 
can be attributed to the influence of socially shared systems of meanings, 
practices, and beliefs that inhere in that group!. 


* Ricercatore indipendente. Per contatti: marco.spampinato@gmail.com. 

! This is not a definition of culture but a non-exhaustive compound of plausible expres- 
sions. Geertz (1973) wrote one of the deepest interpretations of ће word culture, which сап be 
usefully recalled in psychological and educational studies. He described culture in many ways, 
but in order to provide an interdisciplinary concept, defined it as an “extragenetic, outside-the- 
skin control mechanism [...] for ordering behavior" (Geertz, 1973, p. 44). Bourdieu (1977) 
adopted the concept of cultural habitus as a system of dispositions grounded and embodied 
in behavior and cognition. In cultural and cross-cultural psychology, as well as in neurosci- 
ence, the corpus of research articles is so extensive that it would be misleading to mention a 
single author or research team in a footnote. However, it is important to distinguish those who 
consider that every psychological development of the individual is culturally mediated from 
those who take culture as an environmental variable that does not play such a determinant role 
in psychological processes (Miller, 1999). 
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This distortion in response patterns is due to the interaction between сш- 
tural characteristics of a group and the form or content of an item. In prin- 
ciple, any test item is supposed to activate equivalent cognitive processes 
across all populations or subgroups regardless of cultural or educational con- 
notations. 

Systematic sources of bias are expected to be leveled off in the Pro- 
gramme for International Student Assessment (PISA) of the Organization 
for Economic Cooperation and Development (OECD). The organization’s 
goal is to measure 15-year-old students’ capability to apply the knowledge 
they have acquired through several cycles of education in their everyday life. 

Since the first edition of PISA, contributing program managers, test de- 
velopers, and experts recognized that item biases are a major threat for the 
program's goal (Kirsch et al., 2002, p. 19). Nevertheless, PISA technical 
reports (OECD, 2003, 2005, 2009, 2012, 2017b) elucidate that the develop- 
ment and verification of the psychometric scale items of literacy focuses 
much more on preserving an item's meaning when translated to different 
languages than on understanding possible sources of cultural biases. The 
leading principle of test developers is that "translation errors are much more 
frequent than other problems, such as clearly identified discrepancies due to 
cultural biases or curricular differences" (OECD, 2005, p. 68). 

Unquestionably, items’ translation and cultural adaptation requires the 
verification of many kinds of textual errors and features that determine items’ 
malfunctioning (OECD, 2006, 2012). Conversely, the PISA strategy of tack- 
ling vicarious sources of item bias relies on the statistical analysis of item 
functioning, which takes place after a field trial and the final survey. After 
the field trial, first estimations of item parameters are provided for new items, 
and items used in previous edition are re-evaluated for parameters' invari- 
ance. Malfunctioning items are dropped in this phase (OECD, 2017b, p. 35), 
but PISA does not report criteria for item selection and discharge. 

After the final survey, the items’ parameters are estimated again. Until 
2009, a Rasch model estimated a single parameter of difficulty in an item- 
by-country design. In 2015, a two-parameter logistic model was introduced 
to estimate an item's difficulty parameter and a discrimination parameter 
(OECD, 2017, p. 142). For most of the items, PISA methodology estimates 
invariant common international parameters. In previous editions, answers 
to items that showed a difference in behavior in a single country (detected 
through Differential Item Functioning — DIF) were finally excluded from the 
computation of items’ parameters if “suspected of cultural bias" (Kirsch et 
al., 2002). In PISA 2015, an automatic algorithm was implemented to assess 
the fitting of the item parameters in each item-by-country-by-language cell 
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of the estimation design. The automatic procedure adopted standard criteria 
to assess the poor fitting of the international item model and, in such a case, 
estimated group-specific parameters, either for a single group or for a subset 
of groups showing the same bias (OECD, 2017b, p. 151). On account of this 
methodological modification, information about items working differently 
in a country, or a group of countries, is retained, and scores of biased items 
are preserved (OECD, 2017b, p. 144). The opportunity to retain item bias 
information is positive, but fully automated procedures may also rule out 
qualitative investigations. 


1.2. Cross-cultural assessments of measurement inequivalence and 
culturally sensitive studies of test outcomes 


The effort of the OECD to ensure cross-country comparability and the 
measurement equivalence of literacy constructs is considerable. On the one 
hand, the importance given to ranking countries and monitoring their po- 
sition in time and space makes measurement inequivalence a major threat 
that incentivizes the automatic elimination or recalibration of any possible 
item suspected of bias. On the other hand, this effort is substantiated in two 
assumptions of the item response theory models: 1) /ocal independence — 
Item response probabilities must depend only on the item's parameters and 
individual abilities (1.е., literacy), and 2) unidimensionality — all test items 
measure a single and univocal construct of literacy. 

PISA data have been analyzed to explore the residual measurement in- 
equivalence (Kankarás & Moors, 2010). To this aim, Kankarás and Moors 
(2014) estimated DIF among all national samples in reading, mathemati- 
cal, and scientific literacy, while Olsen (2005) adopted an agglomerative hi- 
erarchical cluster analysis to explore cross-cultural similarities in response 
patterns of scientific literacy among nations and investigated the common 
characteristics of the Nordic countries. 

Although these works adopted different statistical approaches, they sim- 
Папу exploited the potential of the item-by-country analyses to speculate 
about a detected structural diversity of students’ responses to the latent con- 
structs. Their limitation 1s that commonalities across clusters of countries 
are just measured in terms of countries’ scores and degrees of equivalence. 
The cultural characteristics that these analyses can illustrate are limited to a 
conceptualization of culture as an undefined mix of linguistic, historical, and 
geopolitical factors operating, often irregularly, within world regions accord- 
ing to a general principle of cultural proximity (Kankarás & Moors, 2014). 
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Alternatively, when a study examines item responses by their characteristic 
associative links, constraints of opaque item categories lead to vague conclu- 
sions: 


The main characteristic of the Nordic profile is that students in our region tend 
to do well on items involving careful reading, or as an alternative and more pessi- 
mistic interpretation, the Nordic students achieves [sic] poorly on items not directly 
dependent on reading of the text (Olsen, 2005, p. 91). 


Alternative research in Taiwan and France (Bodin, 2005) raised the de- 
bate on how cognitive processes might diverge according to differences in 
cultural practices of problem solving in everyday life (Tai & Lin, 2015) or 
to national teaching and philosophical traditions favoring abstract-theoreti- 
cal approaches that appear to be unproductive in some items (Bodin, 2005). 
Both studies endorse an interpretation of culture that describes its mediating 
role in psychological processes. 

Goldstein (2017) expressed a novel and interesting position on how inter- 
national sources of data (like PISA) might be more usefully taken into con- 
sideration. He underlined the intrinsically contradictory stance of pursuing 
measurement equivalence in a cross-cultural assessment of literacy: Ensur- 
ing perfect comparability of test scores by avoiding any possible linguistic 
and cultural item bias eventually gets rid of the most interesting items along 
the way (Goldstein, 2017). 

Goldstein's viewpoint shares a similarity with the interpretation of cul- 
ture in psychology. If culture is understood as a “qualitative source of pat- 
terning" of basic psychological processes (Miller, 1999), culturally neutral 
items for 15-year-old students are less interesting than items manifesting the 
mediating role of their cultural habits. Cultural analyses in psychology and 
education should therefore investigate biased processes, resisting the meth- 
odological idea that tests are meaningful only when they elicit or enable 
universally identical scripts of exemplified cognitive processes. 

As Goldstein suggests, comparisons between groups should cultivate 
the spirit of exploring “what the role of cultural differences might be". То 
this aim, he adds that "studies should be treated as opportunities for gaining 
fundamental knowledge about differences, not as competitions to see who 
comes top" (Goldstein, 2017, p. 12). 
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1.3. Cultures or nations? A case for cultural heterogeneity in Italy 
and Spain 


In this study, responses to the PISA 2015 test items are compared between 
groups of students living in regional communities of two countries of the 
same world region: the Mediterranean area. This research design contrasts 
with the habit of completely overlapping generic or shallow interpretations 
of culture with concepts of the nation or nation-state. 

The PISA methodology itself embodies a concept of culture implicitly 
intertwined with the nation and the language that is in accordance with the 
European intellectual and political history of the 18 and 19% centuries. In 
test development, the methodology identifies groups as individual cells in a 
country-by-language matrix. In other words, cultures are either considered 
nations or sub-national communities of individuals speaking the vehicular 
language of an officially recognized linguistic minority. 

Nevertheless, PISA's intention to measure students’ capabilities in their 
everyday life is an ideal setting for understanding culture in cognition. In- 
deed, there is an epistemological advantage in studying cultural sources of 
test item bias when the same stimulus is presented to groups of speakers of 
the same language living in the same nation-state. 

A limited number of countries guaranteed oversampling to assess read- 
ing, mathematical, and scientific literacy across regional groups (the US, 
Italy, the UK, and Spain). In 2015, Spain submitted the literacy assessment 
to the largest regional sample to represent all its autonomous communities. 
Italy provided the third-largest European sample (after the UK): its samples 
involves two heavily populated regions, one in the north and the other in the 
south, and two autonomous provinces (in the north). Similarities and differ- 
ences between the regional communities of Italy and Spain can be examined 
through a variety of elements of an institutional, social, cultural, and linguis- 
tic nature. 

Considering the languages and their relationship with local cultures, 
the picture is complicated in both countries. In Spain, other languages than 
the Spanish Castilian are currently officially recognized and adopted in the 
school system (the Basque, Catalan, and Galician languages). Apart from its 
German and Slovenian minorities, Italian is the only vehicular language in 
the Italian school system, which is more centralized than the Spanish school 
system (OECD, 2014, 2017c). Nevertheless, as 15 the case with other Euro- 
pean countries (Hobsbawn, 1996; Ethnologue, 2018), the influence of re- 
gional variations of the Italian and surviving forms of previous languages 
(dialects) play an important role in everyday life (De Mauro, 1963/2017). In 
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many regional communities, it is unclear whether linguistic hybrids between 
Italian and its dialects facilitate the assimilation of a common culture or a 
social practice to resist assimilation. Variations in the utilization of an offi- 
cial language сап be interpreted as elements of a person's habitus (Bourdieu, 
1977) and as “funds of identities" (Esteban-Guitart & Moll, 2014). 

Considering the patterns of institutional and social change, regional com- 
munities in Spain and Italy (especially southern Italy) have shared similar 
or even the same institutions throughout many periods of their history, such 
as during the Greek colonies and Byzantine Empire, the Islamic caliphates, 
the Crown of Aragon, the unified Kingdoms of Castile and Aragon, and the 
Spanish Monarchy. Current political entities, regions in Italy and autono- 
mous communities in Spain, are still going through a period of institutional 
change characterized by increasing demands for autonomy, self-government, 
or independence (Catalonia is the straightforward example). 

Considering culture as a relatively autonomous subject, the anthropologi- 
cal study of the Mediterranean cultures has had most of its interpreters in 
"external" scholars. In Italy, anthropological studies have been overwhelm- 
ingly devoted to the study of folklore and popular traditions. In contrast, the 
ethnographic enquiries in the Mediterranean are mainly concerned with the 
individuation and account of cultures of honor and shame (Peristiany, 1966; 
Pitt-Rivers, 1977). 

Differences in the average levels of literacy highlighted by PISA and, in 
Italy, by the national survey developed and administered to the entire student 
population by the INVALSI (Instituto nazionale per la valutazione del sis- 
tema educativo di istruzione e formazione) (INVALSI, 2013а, 2013b) һауе 
contributed to a new narrative about internal gaps. This is especially the case 
in reading and mathematical literacy, prevalently accounted as an effect of 
social inequality between regions and within them. 

In most of the analyses conducted on the PISA and INVALSI datasets, 
culture has not been explicitly taken into consideration as a concept that dif- 
fers from education in the mediation of cognitive outcomes. On the contrary, 
culture has been measured with proxies ofthe cultural capital available in the 
home in its objectified state? (Bourdieu, 1986) and interpreted as an external 
explanatory variable on its own or within the synthetic indicator of socio- 
economic and cultural status. 


? PISA measures the number of books possessed in the home and the availability (presence/ 
absence) of classical works of poetry and literature, artistic artifacts, and technical handbooks. 
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2. Methods 


The low rate of test item disclosure that characterizes PISA limits the pos- 
sibility of anticipating hypotheses about cultural sources of item bias. This 
study therefore identifies item bias by estimating the DIF between regional 
groups. In the next pages, DIF and item bias are often used synonymously 
for the sake of simplicity. Nevertheless, an automatic translation might be 
misleading. An item might display DIF in favor of a group when many more 
test takers than usual skip the question, an occurrence that might modify the 
distribution of correct and incorrect responses for other reasons than those 
defining DIF. After hypotheses explaining an extraordinarily high rate of 
non-responses as being unrelated to the item's difficulty are ruled out, DIF 
signifies that test takers who do not differ in competence have nevertheless a 
different likelihood to answer the question correctly according to their group 
membership (i.e., item bias). This item bias is also a cultural bias if it is 
systematically related to common characteristics (not necessarily a trait) of 
a group: idiosyncratic knowledge, cognitive styles, or embodied dispositions 
developed in a socio-cultural environment. To obtain a definitive assessment 
of cultural biases at the level of single items, it is necessary to study the items 
individually (Zumbo, 1999). 

DIF comes in two forms: a uniform DIF, where all test-takers within a 
focal group — i.e., the group potentially disadvantaged in a test — are equally 
disadvantaged (or advantaged) in respect to test takers ofthe reference group, 
regardless of their individual level of literacy; and a non-uniform DIF, where 
test takers within the two groups are differently sensitive to the item accord- 
ing to their individual level of literacy. In practice, the item may favor more 
competent test takers in a group and less competent ones in the other group. 

The cases of DIF shown below are estimated with a between-group de- 
sign and the two-step ordinary logistic regression approach described in 
Zumbo (1999, 2004). The logistic regressions provide the significant DIF, its 
magnitude, and the logit parameters for a) the effect of group membership 
and b) the combined effect of the group characteristics and the individual's 
level of literacy. 

Focal groups are regional communities presenting significantly lower 
mean scores in reading, mathematics, and science than the corresponding 
reference groups, with a single exception. Table 1 summarizes the main 
statistics for the seven regional groups. In Spain, autonomous communities 
have been chosen by taking into account their linguistic and cultural conno- 
tations as compared with the community of Madrid. Test takers use the same 
and only language of assessment in Italy and in the autonomous communi- 
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ties of Madrid, Andalusia and Castile and Leon in Spain. The latter group 
was added to the community of Madrid for the sake of comparison with 
Basque Country, whose sample was twice as large than the others. Samples 
of the same size positively affect the reliability of DIF measures (Cuevas & 
Cervantes, 2012). 


Tab. 1- Summary statistics of selected regional community samples from Italy and 
Spain 


State Regional Literacy Sample Raw Score Test Response Time 

community domain N. Mean SD Mean SD 
(hh.mm.ss) 

Campania Reading 69] 14.55 6.96 0:33:32 0:12:05 

Mathematics 688 1320 1442 0:33:54 0:13:23 

Italy Science 1,668 15.15 9.28 0:39:12 0:11:28 

Lombardy Reading 744 17.73 6.81 0:34:42 0:10:25 

Mathematics 748 18.24 16.66 0:35:40 0:12:11 

Science 1,832 21.11 10.88 0:41:18 0:09:07 

Andalusia Reading 762 15.35 6.78 0:32:15 0:11:05 

Mathematics 733 1376 13.37 0:35:19 0:12:13 

Science 1,805 18.29 10.57 0:39:45 0:09:39 

Catalonia? Reading 721 17.06 6.93 0:33:03 0:10:44 

Mathematics 734 16.95 14.92 0:35:27 0:11:28 

Science 1,768 20.88 12.15 0:40:49 0:08:36 

Basque Country® Reading 1,480 16.28 112 0:31:55 0:11:03 

Spain Mathematics 1,453 15.60 13.40 0:33:30 0:12:02 

Science 3,599 19.00 11.15 0:38:21 0:09:49 

Madrid Reading 742 1815 6.75 0:33:55 0:10:42 

Mathematics 735 16.64 14.60 0:35:11 0:11:18 

Science 1,8044 2205 1142 0:40:30 0:08:20 

Madrid with Reading 1,496 18.14 6.76 0:33:13 0:10:35 

Castile and Leon Mathematics 1,504 17.02 14.89 0:34:58 0:11:32 

Science 3,661 22.10 1127 0:40:12 0:08:26 


Source: OECD PISA, 2015. 


а АП students took the assessment tests in Catalan. 
b In the Basque Country, 2,822 students took the assessment tests in Spanish, 790 in Basque. 


A DIF – especially in the form of a uniform DIF – straightforwardly ex- 
presses what being a member of the focal group implies in terms of a stu- 
dent's probability to give the correct answer. Since Italy and Spain's 2015 
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PISA survey was computer-based, another interesting piece of information 
available in the dataset is the item response time (RT). 

Interpreting the relation between test performance and total test response 
time (i.e., the information reported in Table 1) is not straightforward at all. 
A lower total response time can be interpreted in two opposing ways: both 
students who rapidly guess the answer or almost automatically come up with 
it are faster than students who take longer to reason through 18. 

To complement DIF with a second measure of student behavior that is not 
influenced by the total response time, the influence of being a member of the 
focal group on the item response time was estimated in a linear regression 
model after controlling for the main effect of the students’ total test time. 
Significant effects are reported in the last column of the tables after the DIF 
logit parameters (Appendix, Tables A1.1 to A3.4). 

A significant behavioral difference in item response time may suggest a pos- 
sible cultural bias. The same stimulus might favor — with all things being equal 
— many more correct answers in a group by eliciting the activation of different 
psychological processes — e.g., intuitive processes rather than reasoned ones. 
Whenever the latter condition occurs, the cultural bias is also a cognitive bias*. 


3. Results 
3.1. Essential information for interpreting the results 


Tables A1.1 to A3.4 present DIFs in the between-group design. Each table 
reports, from left to right, the name of the item, the percentage of correct 
answers in the international sample (as reported by PISA), the values of the 
significance tests (likelihood ratio 7 tests) for any uniform and non-uniform 
DIF, the magnitude of each form of DIF (by computing the change in R? 
between the three consecutive logistic regressions), and the estimated logit 
parameters of the focal group. The last column reports the unstandardized 
regression coefficient of the linear regression model estimated to assess the 
influence of being part of the focal group on the RT Levels of the p-values 
are signaled by asterisks. 


? [n Campania, the total response time in mathematics (M — 33:54, SD — 13:23) was 
significantly lower than in Lombardy (M = 35:40, SD = 12:11, t = 2.626, p « 0.05) and was 
also the lowest among the five regional communities considered in the analysis. Campania 
displays the lowest mean score in mathematics. 

^ For the sake of accuracy, the influence of group membership on the item response time 
should be estimated after having controlled for the different percentage of correct answers. 
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Items were considered to display a significant DIF only if the %2 presented 
а p-value equal to or lower than 0.01. After the first step, the score of the item 
showing DIF was subtracted from the total score to iterate the regressions 
with an unbiased measure of literacy, following the procedure suggested by 
Holland and Thayer (1986) and Zumbo (1999) to reduce first-type errors. 
Indeed, several items did not manifest the same significant DIF after the 
second estimation. 

The logit coefficients always refer to the change in probability of focal 
group test takers endorsing the right answer (or taking more credits): the 
group coefficient assesses the influence of focal group membership alone, and 
the interaction coefficient measures the interaction effect of levels of literacy 
and group membership. When an item displays only a uniform DIF, only the 
group coefficient is significant. On the contrary, when the DIF is only non- 
uniform, both interaction and group coefficients could be significant. 

The binomial logit parameter is the logarithm of the odds p/(1-p), where 
p is the probability to give the correct answer, and 1-p 15 the probability 
to make an error. The interpretation is just a little more complicated when 
there are two or more possible correct answers ordered in a scale. Logit 
parameters can be transformed in their inverse, exp(logit), which expresses 
the odds (Agresti, 2007). 

As an example, the item Aesop-Q05 (Appendix, Table A.3.1) manifests 
both uniform and non-uniform DIFs. According to the former, the probabil- 
ity of getting 2 credits instead of 1 or no credit for a student in Campania is 
1.89 times higher than for a student in Lombardy — exp(0.635) = 1.89, and 
the same probability applies for getting 1 or 2 credits instead of getting no 
credit. According to the non-uniform DIF, the effect of the group member- 
ship is not identical for every student but, to some extent, is conditional on 
the student’s reading literacy. The more competent students in Campania 
outperformed their peers in Lombardy, but the opposite or no distinction 
was observed for less competent students of both groups (Figure 1). Figure 1 
shows the item differential functioning by an approximate relation (a default 
cubic equation provided by SPSS) between the students' credits obtained in 
Aesop-05 (y axis) and the students’ score (x axis). The logit coefficient for 
the interaction between group membership and literacy expresses the small 
advantage of the relatively more competent students in Campania as a 1.09 
times higher probability to answer correctly per each unitary increase in lit- 
eracy – exp(0.082) = 1.09. 

To correctly interpret what kind of DIF is important, it is always better to 
first read the change in А? for the uniform and non-uniform effect. When the 
former is much greater than the latter, the advantage (or disadvantage) of the 
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focal group applies to most of the students; when the latter is much greater 
than the former, the effect of the group membership is very sensitive to the 
student’s level of literacy. 

Regardless of the interpretation of the effect's uniformity, some criteria 
to judge the overall magnitude of the DIF (the value of R? in the column 
labeled *any DIF") – 1.e., the extent it affects the item and therefore the test 
score — have been suggested by Slocum, Gelin, and Zumbo (2004). A change 
in R? below 0.35, between 0.35 and 0.70, and above 0.70 indicates, respec- 
tively, a small, moderate, or large DIF. However, other scholars (Cuevas 
& Cervantes, 2012) showed how a change in А? is not independent from 
sample size: bigger samples might facilitate DIF detection and increase its 
magnitude. The relatively small size of the PISA group samples (about 200 
students per item in reading and mathematical literacy for the smallest sam- 
ples) might therefore lead to an underestimation of the DIF's magnitude". 
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Fig. 1 — Relation between total score in reading and score in the item Аеѕор-О5 in 
Campania and Lombardy, approximated by a cubic equation 


5 PISA methodology adopts matrix sampling, which was modified in 2015. Each student 
in the sample answered only a portion of the reading and mathematical literacy items (OECD, 
2017b, pp. 31-40). 
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5.2. Numerosity, magnitude, and direction of DIF 


Overall, the results of the DIF estimation between communities in Italy 
and Spain show percentages of biased test items that exceed the percent- 
age of items that PISA's automatic algorithm detected for DIF across all the 
national groups — and recalibrated by applying country's ad hoc parameters. 
PISA reports the following percentages of ad hoc parameters: 11% in read- 
ing literacy, 5.6% in mathematical literacy, 10.396 in old items (called trend 
items) of scientific literacy, and 6.796 of new items of scientific literacy de- 
veloped for the 2015 survey (OECD, 2017b, p. 228). 

In this analysis, the DIF in reading literacy between Catalonia and Ma- 
drid (16% of test items) clearly exceeds the 1196 rate of item bias detected 
in PISA's international estimation. Analogously, the DIF in scientific literacy 
when Catalonia and the Basque Country are involved — 15.296 and 20.7% 
of the items respectively — is either equivalent to or higher than the DIF 
detected by PISA internationally. In the case of Italy, the figure is even more 
impressive: 41.2% of the mathematics items are biased between Campania 
and Lombardy, and even the DIF between Madrid and Andalusia is almost 
double the 5.8% of the international items’ calibration (Table 2). 

Item bias benefits either the focal or the reference group. When many 
items are biased, most of them favor the reference group. An exception is the 
comparison between the communities of Madrid and Catalonia in reading 
literacy, but the item bias is generally more equally distributed in reading 
literacy. In respect to its magnitude, the DIF is mostly small. However, for 
Catalonia's reading literacy and Campania's mathematical literacy, the DIF 
1s mostly of a moderate and large magnitude. 
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3.3. DIF in reading literacy 


Reading literacy presents the lowest proportions of item bias, among the 
three assessments, where students of the focal groups took the test in the 
same language of the reference group. Conversely, for students from Catalo- 
nia and Basque Country, item bias is more frequent in reading literacy than 
in mathematics. This fact may either confirm the thesis that students who 
take the test in the same language encounter fewer translation problems or 
call the hypothesis of linguistic relativity into play, which can be stated as 
the concept that folk theories and cultural worldviews internalized through 
the indigenous language are much more likely to act as a stronger vehicle of 
a population’s cultural biases. 

Notably, the hypothesis that a linguistic mismatch increases the possibil- 
Ity of item bias in reading literacy does not imply that the nature of the bias 
Is linguistic, instead of cultural. In fact, when the literacy assessment brings 
other fields of knowledge into play (e.g., mathematics, science) that may 
well contrast with other elements of folk theories and worldviews, cultural 
biases emerge in the study regardless of the language of the test. 

Looking at some results in detail, the plausibility of the cultural nature of 
the biases — which means that biases persist across different cultures regard- 
less of whether they use the same language - is reinforced. The previously 
mentioned Aesop-Q05 works differently in three out of four group compari- 
sons, but both students in Campania and Catalonia have an advantage against 
the respective reference groups in terms of full credit answers and RT. 

To understand cultural bias and confirm the hypothesis, it is clearly nec- 
essary to focus the analysis on the content of the items. Unfortunately, the 
PISA methodology offers just a few and insufficient categorical elements. 
To say that Аезор-005 belongs to the category of reflect and evaluate does 
not contribute enough to interpret why some groups are faster and more fre- 
quently correct than others in their answers. The RT tells a complementary 
and crucial part of the interpretation. It is improbable that the disadvantaged 
group did not reflect enough: students in Madrid and Lombardy spent more 
time on the item and they are more competent in reading on average. 

Fortunately, notwithstanding PISA's restrictions on communicating the 
items’ contents, Аезор-005 is a partial exception. А study made after the 
first edition of PISA analyzed the answers to one of the two items called Ae- 
sop, both belonging to the reflect and evaluate category (Roe, 2002). Even 
maintaining doubt about which Aesop — number four or number five — Roe 
evaluated, the results of her analysis match the hypothesis of cultural bias. 
The narrative and the related question might indeed give an advantage to re- 
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spondents who are relatively faster and sharper in grasping the nature of ће 
fable's metaphor. While this advantage might correlate with the condition of 
being a frequent reader of literary genres — i.e., a cross-culturally valid inter- 
pretation of individual differences in reading literacy — the same advantage 
might arise from being part of a group accustomed to the use of a figurative 
language in the everyday life and perhaps more accustomed than others to 
certain implicit associations. 

The cultural bias hypothesis is much more specific: Aesop's fables are a 
vehicle of implicit and symbolic associations (between animals and human 
emotional, motivational, or moral stances). The gist of the narrative 15 per- 
ceived much more effectively when internalized routines and symbolic as- 
sociations are partially processed non-consciously during the reading. A cul- 
tural bias might therefore imply that individuals who grasp the metaphorical 
or symbolic meaning do not require the same kind of prolonged reflection of 
individuals who do not share that implicit knowledge. Figure 2a shows that 
students from Catalonia, Campania, and Madrid performed better overall 
than students from Basque Country and Lombardy. They also showed lower 
response times in each comparison when advantaged by the item. Figure 2b 
gives an example of what may happen to a DIF that signals a cultural differ- 
ence when nations are used as cultural groups instead of regions: the DIF is 
totally hidden, and Italy and Spain, taken as nations, show almost identical 
patterns of response. 

There are too few descriptive elements to formulate hypotheses about the 
source of bias in the other items. Looking at the PISA categories, biased item 
between Catalonia and Madrid are more frequent in the category reflect and 
evaluate, 3096 of this typology of items is biased, than in the other two cat- 
egories: integrate and interpret (1396 of this typology of items 1s biased) and 
access and retrieve (9.1% of this typology of items is biased). Nevertheless, 
the influence of this classification on item bias does not reach the conven- 
tional level of significance (%2 = 4.015, ај = 2, p = 0.134). Perhaps more in- 
terestingly, the intersection of the categories of human-coded open responses 
and personal situations — i.e., situations of everyday life — account for almost 
half of DIF items between Catalonia and Madrid (6 out of 14 items, 42.9%, 
X= 9.528, df= 4, p = 0.049). 
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Fig. За – Пет Aesop-Q5: percentage of full credit, partial credit, and no credit in the 
selected regional communities 
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Fig. 2b — Item Aesop-Q5: percentage of full credit, partial credit, and no credit in 
Italy, France, Spain, and the UK 
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3.4. DIF іп mathematical Шегасу 


DIF in mathematical literacy is noteworthy for its numerosity and mag- 
nitude between Campania and Lombardy, and it almost always favored the 
reference group. The item Wheelchair Basketball is the single exception. It 
is a very difficult item according to the international statistics (12% correct 
answers), and Campania and Lombardy had slightly above the global aver- 
age (16% and 15% correct answers, respectively). 

A few meaningful elements to discern the nature of DIF comes from the 
information provided by the item classification categories. Overall, the 28 
biased items are: 

— equivalent in difficulty, considering the international percentage of cor- 
rect answers (Noia = 68, Miota = 42.88%, 5Рьш= 21.53, Noiasea= 28, Мывзеа 
= 44.65%, SDpiasea= 19.06%, t = 0.735, ај = 27, p = 0.469; №, = 40, 
М ыга = 41.64%, SD „ага = 23.26%, t = 0.097, df= 39, р = 0.923); 

— barely characterized in terms of item contents – 1.е., 51.5% of items аге 
biased in the categories change & relations and uncertainty & data, while 
only 31.4% of the categories quantity and space & shape favor one of the 
two groups (x? = 2.829, df= 1, p = 0.093); and 

— significantly distinguished in terms of contexts and situations: mathemat- 
ical applications to scientific or personal situations are biased 55.296 of 
the times, while applications to societal and occupational contexts favor 
one of the two groups 30.8% of the times (y? = 4.089, df= 1, p = 0.043). 
There is a possible effect of scientific contexts on item bias in mathemati- 

cal literacy: the very high proportion of items affected by DIF, which were 

univocally against the focal group, suggests that a common factor of item 
bias could be the kind of non-mathematical context where the mathemati- 
cal contents are embedded. This hypothesis 15 further specified and tested in 

paragraph 3.6. 


3.5. DIF in scientific literacy 


A few comments are added to the next tables of DIF within the assess- 
ment of scientific literacy. The DIF is relatively more balanced but larger in 
magnitude between Catalonia and Madrid. It is conversely numerous, small, 
and always favorable to the students from Madrid and Castile and Leon in 
comparison with Basque Country. 

Itis interesting to note that in the latter case (where more than 2096 of the 
test is biased), 81.6% of the DIF regards new items submitted for the first 
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time in 2015. Indeed, the condition of being a trend item (1.е., ап old item) or 
new influences the item's probability of presenting a bias (jy? — 16.819, df= 
3, p = 0.001). The same influence of the new items on DIF characterizes the 
Italian samples: 13 of the 16 biased items (81.3%) were administered for the 
first time in 2015. The relevant item bias between Catalonia and Madrid is 
conversely much better distributed across the years of items’ first utilization. 
The distribution of item bias by the PISA item categories does not sug- 
gest any straightforward pattern. The few patterns that emerge — 1.е., item 
bias is more frequent in the content domains of /iving systems (biology and 
ecosystems) in Basque Country and Catalonia and Earth and space (phys- 
128) in Campania – do not suggest meaningful comments on the nature of the 
bias. Students' cognitive outcomes in scientific literacy rely on a mixture of 
curricular and extracurricular knowledge of science combined with their ca- 
pabilities in reading and mathematics. Consequently, understanding the item 
bias in science might be more complicated than in the other two domains. 


3.6. Intrinsic motivation and beliefs: outline of the cultural media- 
tion of mathematical outcomes in Campania 


Table 3 provides the mean values of several psychometric measurements 
of students’ motivation and beliefs collected by the PISA student question- 
naire (OECD, 20172). The reliability and validity across cultures of measures 
of motivation cannot be taken for granted (Artelt, 2005; Byrne, 2008). Issues 
of comparability arise immediately when mean scores are compared with 
cognitive outcomes. Artelt (2005) expressed the reasonable tenet that the psy- 
chometric scales that measure motivation, attitudes, and interests work much 
more effectively within countries than between countries because the interpre- 
tation oftheir meanings may differ considerably across cultures. Students from 
countries with a very low level of literacy in reading – Brazil in an Artelt's ex- 
ample — in fact show a higher motivation than students who largely outperform 
them — Koreans in her example. This picture is exactly how the comparison 
works between two regional groups of this study: students from Campania 
display a significantly higher mean of interest in scientific topics (t = 7.231, df 
— 3,148, p « 0.001), enjoyment in science (t — 5.073, df — 3,209, p « 0.001), 
instrumental motivation (in science) (t — 4.873, df — 3,195, p « 0.001), and 
achievement motivation (general) (t — 8.813, df — 3,229, p « 0.001) than stu- 
dents from Lombardy. Notably, this pattern does not occur in Spain. 

Conversely, students from Campania score significantly lower on a four- 
point Likert scale of epistemic beliefs — i.e., a measure of the extent to which 
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they believe science needs experimental methods and scientific truths are open 
to change over time — than their peers in Lombardy (and in the other regional 
communities). Short vignettes on grit and preparation (М1), intrinsic motivation 
(М2), and extrinsic motivation (M3) work much more regularly across groups, 
and students from Campania express lower instead than higher motivation®. 


Tab. 3 — Regional means of PISA constructs measuring different types of student S 
motivation and epistemic beliefs 


Constructs Campania Lombardy Andalusia Catalonia Basque C. Madrid 
Interest in science 14.63 13.74 13.68 13.51 13.32 13.65 
Enjoyment in science 13.30 12.63 12.87 13.26 12.95 13.56 


М! – Lack of grit & often 
off guard reversed score 3.51 3.63 3.59 3.57 3.58 3.67 


M2 - Intrinsic motivation 


in a task 3.14 3.26 3.24 3.36 3.24 3.23 
M3 - Extrinsic motivation 
in a task 3.36 3.39 3.62 3.61 3.58 3.67 


Achievement motivation 15.16 14.35 14.24 15.52 14.28 14.71 


Instrumental motivation in 
science 11.52 11.03 11.28 11.22 11.29 11.62 


Epistemic beliefs 17.66 18.15 18.13 18.85 18.43 18.81 


The vignettes may allow a more realistic or authentic projection of stu- 
dents’ views and dispositions by disentangling the self from the answer’. 
A social desirability bias is otherwise ubiquitous in questions directly cal- 
ling the self into play (Fisher, 1993). Furthermore, cultures typically differ 
for how people structure a self-schema and how concerned they are with 
a personal social image (e.g., Markus, 1977; Markus & Kitayama, 1991; 
Rodriguez Mosquera, Uskul, & Cross, 2011). When it comes to speaking 
about oneself in relation to others, different stances may therefore arise — 
e.g., being modest and “below-average” or assertive and even pretentious. 


6 The independent samples t-test between means of Campania and Lombardy show a 
significant difference in МІ (t = -5.147, df = 3,354, p < 0.001) and M2 (t = -4.957, df = 3,345, 
p < 0.001), but a non-significant difference in M3 (t = -0.909, df = 3,346, р = 0.363). 

7 MI: “[student name (a male name in Italian)] gives up easily when confronted with a 
problem and is often not prepared. Is [name] motivated?". 

M2: "[student's name (female name in Italian)] mostly remains interested in the tasks she 
starts and sometimes does more than expected. Is [name] motivated?". 

M3: “[student’s name (female name in Italian)] wants to get top grades at school and 
continues working on tasks until perfect. Is [name] motivated?". 
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The analysis of the DIF between Campania and Lombardy in mathemati- 
cal literacy suggests evaluating the influence of a common cultural factor 
that affects the students’ answers on the whole cluster of biased items besides 
other possible item-by-item assessments. The psychometric scales of moti- 
vation and beliefs have been considered only within cultures, giving priority 
to those that disentangle the self from the students’ answers in order to test 
the hypothesis of cultural mediation. 

The conjecture is that the single construct of epistemic beliefs might 
embody idiosyncratic cultural elements that mediate the relation between 
a realistic measure of student’s motivation and mathematical outcomes. In 
a culturally grounded approach, motivation should be considered more as a 
process than as a personality trait (Maehr, 2008). This conjecture has there- 
fore been formulated and tested in consideration of the answers to one of the 
three vignettes, each of which express a student’s motivational orientation 
toward a task, and the construct of epistemic beliefs — a measure that may 
reflect a dynamic, often intrinsically conflicted stance between folk beliefs 
and the interpretation of scientific knowledge cultivated through the school 
experience (Vygotsky, 1978; Clarà, 2016). 

For the sake of accuracy, the measurement of mathematical literacy has 
been partitioned into two scores, one per each separated subset of biased and 
unbiased items. 

The first hypothesis of the mediation model is that the student's perfor- 
mance increases as the student's motivation increases. The vignette portray- 
ing a situation of intrinsic motivation in task completion (M2) — the key 
expression being "remain interested" — was selected as the most appropri- 
ate to represent that state in the mediation model. It is likely that the most 
intrinsically motivated students — students who experience interest during 
a task — perform better than other students in the biased part of the test. An 
experienced interest might help them overcome perceived difficulties and 
therefore reduces the probability of them giving up or guessing the answer. 

The second hypothesis of the mediation model states that a student's in- 
trinsic motivation and epistemic beliefs in science are positively correlated. At 
first glance, it appears superfluous to specify further the direction of this rela- 
tion. Nevertheless, if epistemic beliefs are considered to be a dynamic outcome 
of the interaction between folk theories and school experiences, intrinsically 
motivated students are more likely to endorse a pragmatic, experimental, and 
relativistic view of science than students who are just extrinsically motivated 
in their school activities. The model therefore assumes a process-based and 
contingent orientation: student's intrinsic motivation — remains interested in a 
task and does more than expected — predicts their epistemic beliefs. 
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The third hypothesis of ће model is as follows: It is not just the student's 
intrinsic motivation per se, but the mediation of conducive epistemic beliefs 
that sustains the student's engagement within otherwise unusual mathemati- 
cal tasks (e.g., items applying mathematical reasoning and competences to 
scientific contexts and everyday life situations). 

Figure 3 depicts the mediation model with the regression coefficients 
referring to the students’ performance in Campania in the biased subset of 
the test — i.e., the total score of the 28 items manifesting DIF. Table 4 ac- 
counts for the regression of the mediation model estimated in the four pos- 
sible conditions: intrinsic motivation and epistemic beliefs as predictor and 
mediator, respectively, of the biased and unbiased test scores in Campania 
and Lombardy. 

The mediation model shows that the biased component of the test is the 
only one where the two conditions for mediation are verified: 1) the predictor 
directly influences the outcome when the mediator is not considered in the 
model, and 2) the mediator predicts the outcome and mediates the predictor 
when both variables are entered in the same empirical equation. The third 
condition — the predictor significantly affects the mediator — is always veri- 
fied (Baron & Kenny, 1986; Preacher & Hayes, 2004). 

The model describes the process-based interpretation of the biased math- 
ematical outcomes in Campania. Conversely, it does not show full statistical 
significance for the same cluster of items in Lombardy — intrinsic motivation 
does not influence the students’ score. 

Since the mediation model for DIF items provided a clue to understand 
how performance can be biased in mathematical literacy, a linear regres- 
sion model was estimated to assess the direct contribution of motivational, 
cultural, and educational components to the students’ overall score in math- 
ematical and scientific literacy. 

The stepwise regression procedure presented in Table 5 entered the main 
constructs provided in the students’ and parents’ questionnaires in four sepa- 
rate blocks. The first block contained vignettes’ scores for grit and prepa- 
ration (M1), intrinsic motivation (M2), and extrinsic motivation (M3), the 
second block contained proxies for objectified and embodied cultural capital 
(the number of book possessed in the home, epistemic beliefs, parents’ views 
about science and science-oriented activities), the third block contained 
context-specific constructs of motivation and emotion (interest in science, 
enjoyment of science, instrumental motivation in science, and anxiety), and 
the fourth block contained constructs expressing properties of the student's 
school experience with science (inquiry-based science teaching, teacher sup- 
port in a science class, teacher directed science instruction). 
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Іп Campania, only four variables manifest a main effect оп mathemati- 
cal literacy. Somewhat surprisingly, this model interprets the same portion 
of variance of the predicted outcome (Е? = 0.015) as the analogous model 
for the students' performance in scientific literacy. It can also be noted that 
teacher's support, epistemic beliefs in science, and interest in scientific top- 
ics all contribute to describe a positive involvement with science classes as 
a process of acquisition (embodiment) of a set of cultural dispositions that 
may favor the application of mathematical reasoning to scientific contexts. 

Both embodied and objectified components of the students' cultural capi- 
tal — to maintain Bourdieu's effective categories — are significant predictors 
of the student's performance. The number of books at home is a well-known 
predictor of students' literacy across countries (e.g.: Lockheed, Prokic-Bruer, 
& Shadrova, 2015). Nevertheless, the epistemic beliefs, as part of a person's 
embodied cultural capital, are a more direct and intrinsic target of educational 
policies compared to the availability of objectified forms of cultural capital. 

In confronting the outcome of the stepwise regression models in Lom- 
bardy and Campania, it 1s also evident that positive results in mathematical 
literacy and, to some extent, in scientific literacy, arise from different path- 
ways in the two communities. А greater emphasis on intrinsic motivational 
components, family background, and positive teacher support characterizes 
the southern region. Conversely, all other things being equal, emotional com- 
ponents (anxiety) apparently discriminate only within the northern region. 


Motivation B=0.0169, р<0.05 Math Score 


(DIF Items) 


Epistemic 
beliefs 


Indirect effect=0.0057, p<0.05 


В=0.0112, p=0.117 Math Score 


Motivation (DIF Items) 


Fig. 3 – Epistemic beliefs mediate the relation between motivation and mathematical 
score on test items manifesting DIF 
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Tab. 5 — Regression models: motivational, cultural, and educational predictors of 
performance in Campania and Lombardy for mathematical and scientific literacy 


Components Predictors Campania Lombardy 
B T p B t р 
Mathematical literacy 


M1 — Lack of grit & of- 0.072 1.290 0.198 
ten off-guard revscore 
Motivation Interest in science 0.204 3.539 0.000 
topics 
Anxiety -0.117 -2.594 0.01 


How many books are 0.171 3.058 0002 0.138 2.978 0.003 
there in your home? 


Culture . : б 
Epistemic beliefs in 0.130 2.306 0.022 011 2.391 0.017 
science 

Education Teacher support in a 0.139 2.518 0.012 


science class 
R2 0.15 0.05 
Scientific literacy 
Ml – Lack of grit & of- 0.092 2.502 0.013 0.115 3.938 0.000 
ten off-guard revscore 
М2 – Intrinsic motiva- 0.117 3.267 0.001 0.030 1.012 0312 
Motivation tion in a task 


Interest in science 0.176 4.78 | 0.000 0.118 3.998 0.000 
topics 
Anxiety -0.141 -5.115 0.000 


How many books are 0.128 3.541 0.000 0.176 6.118 0.000 
there in your home? 

Epistemic beliefs in 0.112 3.079 0002 0.092 3.172 0.002 
science 

Parents’ view about 0.074 2.088 0.037 

science? 

Teacher support in a 0111 3154 0.002 0113 3.542 0.000 
science class 

Teacher-directed scien- -0.071 -2.316 0.021 
ce instruction 

R2 0.15 0.15 


Culture 


Education 


a Psychometric scale from the parents’ questionnaire. 
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4. Conclusion 


Detecting DIF in standardized assessment procedures is a method to in- 
vestigate cultural influences inherent in psychological and cognitive process- 
es. Often, cross-cultural studies tend to overlap concepts of culture and na- 
tion, neglecting cultural heterogeneity within-country. This study attempted 
to avoid this oversimplification by investigating heterogeneity between re- 
gional communities within countries considered linguistically and culturally 
similar. 

A cultural puzzle is framed within the present-day Mediterranean nation- 
states, due to idiosyncratic patterns of historic (1.e., institutional, economic, 
social) and cultural development, each one sharing similarities and contrasts 
with the other. Accordingly, differences between groups in culturally ground- 
ed aspects of cognition might be usefully inquired using conceptual frame- 
works developed within the cognitive sciences — e.g., dual-process theories 
of the mind (Sloman, 1996; Stanovich & West, 2002) — and within cultural 
psychology, which addressed a growing body of research to investigate dif- 
ferences in cognitive styles, especially between East Asians and North Amer- 
icans (e.g.: Nisbett, 2003; Butchtel & Norenzayan, 2009). 

So far, the results obtained by estimating DIF in literacy assessment be- 
tween regions, in Italy and Spanish, suggest that an item-by-item investiga- 
tion is a viable strategy to understand cultural bias. However, this identifi- 
cation strategy works under the assumption of Item Response Theory that 
items are conditionally independent of each other — in practice, when cultural 
characteristics, which should remain irrelevant, influence only a small pro- 
portion of the test items. 

To explore DIF item-by-item, it is necessary to access the restricted in- 
formation about the item's content. An example of how this knowledge may 
facilitate the identification of cultural bias 1s provided for an item adopted in 
PISA tests of reading literacy since the survey's first edition. The example 
shows also that similarities in behavioral patterns across regional groups of 
different countries are totally hidden in cross-national comparisons. 

On the contrary, when DIF is found in a very high proportion — which 
18 certainly the case between Campania and Lombardy in mathematical lit- 
егасу - there 15 reason to believe that the assumption of local independence 
18 violated. Students might have not answered each item independently from 
the contexts where their competencies were tested. A common context might 
facilitate or impede memory processes and the whole performance in the 
task at hand. In this analysis, it was suggested that scientific contexts (and 
situations of everyday life) might create a contextual bias against students 
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from Campania in mathematics when their behavior is compared with stu- 
dents from Lombardy. 

It was proposed that this kind of bias, which operates over more than the 
40% of the test, сап be mediated by motivational (1.е., intrinsic motivation) 
and cultural (1.е., epistemic beliefs) psychological components. In the esti- 
mated model of cultural mediation, students' intrinsic motivation, a predictor 
of their cognitive performance, is mediated by their epistemic beliefs. 

Further research can be addressed to inquire cultural biases in literacy 
assessment and to explore how culturally-specific patterns of behavior are 
formed and transmitted. 

The stance endorsed by PISA that a capability exists only when a learned 
competence can be applied to the everyday life, emphasizes a social con- 
structivist interpretation of the cultural bias: what appears to be a flaw or, al- 
ternatively, an advantage of a group, can signal characteristics of psychologi- 
cal processes superimposed, within a concrete society, by the intimate need 
of maintaining a positive interaction between the educational experience and 
the culture of students' everyday life. 

The mere fact that students live in a social environment suggests that 
schools and local societies are not independent of each other. Indeed, re- 
moving any cultural influence in the psychological processes which mediate 
stimuli submitted through psychometric tests might be, on the one hand, 
unrealistic and, on the other hand, counterproductive. What this research 
might alternatively suggest — without betraying its own preliminary charac- 
ter —, is that psychometric scales of literacy should be regarded much more 
as fine-grained tools to understand idiosyncratic patterns of interaction be- 
tween culture and education, instead than as means to benchmark countries 
and cultures. 
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5. L'OCSE PISA secondo Google: 
un analisi sulle notizie offerte online 


di Brunella Fiore’, Donatella Poliandri** 


1. Introduzione 


L'indagine PISA (Programme for International Student Assessment) 
rappresenta una delle iniziative di maggiore successo dell'OCSE in campo 
educativo (Organizzazione per la cooperazione e lo sviluppo economico): 
l'ampia attenzione che hanno ricevuto gli esiti di questa indagine ha deter- 
minato un rafforzamento dell'influenza dell OCSE nel campo delle politi- 
che sull’istruzione (Lingard et al., 2016; Morgan e Volante, 2016). Molti 
autorevoli autori hanno definito questo tipo di influenza come una forma di 
governo soft in grado di condizionare le politiche adottate dai diversi Paesi 
nell'ambito dell'istruzione (Pereyra et al., 2011; Meyer e Benavot, 2013; 
Kamens, 2013). Le agenzie internazionali, come per esempio l'UNESCO, 
l'OCSE e la Banca Mondiale, hanno introdotto negli ultimi cinquant’anni 
alcuni concetti chiave che, seppur con alcune specifiche, hanno influenzato 
le politiche educative dei diversi Paesi occidentali e non solo; in questo sen- 
so sono emblematici alcuni capisaldi emersi dalle evidenze empiriche delle 
ricerche condotte da queste agenzie, fra le quali 1 PISA, come il curricolo 
per competenze, l'autonomia scolastica e la necessità di istituire un sistema 
di valutazione centralizzato (Muzzioli et al., 2012). 

Il presente contributo indaga le ricadute mediatiche dell’indagine OCSE 
PISA nel contesto italiano, attraverso l’analisi di una rassegna di notizie che 
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copre un arco di tempo compreso tra il 2006 e il 2018! e operata attraverso 
la selezione offerta da uno dei motori di ricerca maggiormente utilizzati sul 
web, ossia Google. Nel fare ció una particolare attenzione е data alla comu- 
nicazione politica articolatasi nelle dichiarazioni di commento ai dati e alle 
eventuali reazioni a quelle offerte dagli organi di governo dell'OCSE. 

Il contributo offre nel primo paragrafo un breve excursus sulla storia del- 
l'OCSE-PISA, a partire da come l'indagine è stata accolta in Italia, in una 
prospettiva di confronto con quanto accaduto in altri Paesi partecipanti al- 
l'indagine. Nel secondo paragrafo е presentato il funzionamento del motore 
di ricerca Google e le modalità di selezione delle notizie operate dal portale 
di ricerca. Nel paragrafo 3 si introducono alcune domande di ricerca che 
ci siamo poste nell'analisi ed è presentato il metodo di studio. Nel quarto 
paragrafo illustriamo i principali esiti che sono discussi criticamente nel pa- 
ragrafo conclusivo. 


2. Appunti sull'indagine OCSE PISA in Italia 


Tra le indagini comparative su larga scala, PISA 6 quella maggiormente 
conosciuta dai decisori politici e dal grande pubblico. Gli esiti della prima 
edizione dell'indagine, ossia PISA 2000?, hanno peró incontrato una scarsa 
attenzione da parte dei media e dei decisori politici nel nostro Paese. Infatti, 
dopo la presentazione del Rapporto internazionale PISA 2000 (focalizzato 
sulla reading literacy) nel dicembre 2001, in alcuni dei 32 Paesi partecipanti, 
come per esempio in Danimarca (Egelund, 2008) e in Germania (Ertl, 2006; 
Waldow, 2009; Niemann, Martens e Teltemann 2017) gli esiti dell’indagine 
hanno dato il via a quello che é stato definito e riportato dai principali canali 
informativi come il *PISA shock", mentre in Italia il rapporto non ha ricevu- 
to un particolare clamore. 

Per le edizioni successive, si osserva un accresciuto interesse in quei con- 
testi che già avevano evidenziato in passato una maggiore sensibilità alla 
cultura della valutazione (Engel e Rutkowski, 2014), come per esempio le 
Province di Trento e Bolzano e le regioni Veneto, Lombardia, Piemonte e 
Toscana le quali avviano un sovra-campionamento dell’ indagine PISA 2003 
rispetto a quello già previsto a livello nazionale e che offrirà un dettaglio sul- 


! Sul motore di ricerca non é stato possibile reperire articoli con riferimento precedente 
al 2006. 

? [Italia ha partecipato, con cadenza triennale, a tutte le indagini PISA dal 2000 a oggi e 
si prepara a partecipare a PISA 2018. 
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le macro-aree del Paese. Questo stesso interesse si manifesta però іп modo 
non omogeneo sul territorio nazionale. È tra le istituzioni scolastiche di quei 
territori maggiormente sensibili che iniziano a diffondersi le prime informa- 
zioni, anche trasmesse dai media locali, sulla metodologia e sugli strumenti 
utilizzati dall’OCSE PISA: nel nostro Paese, per molti insegnanti e dirigenti 
scolastici questo rappresenterà il primo approccio a un sistema di valuta- 
zione dell’istruzione che vedrà solo negli anni a seguire, anche una spinta 
nazionale (Pedrizzi, 2016). A partire dalla Conferenza nazionale organizzata 
dal MIUR (Ministero dell’Istruzione, università e ricerca) nel corso del 2005 
sugli esiti di PISA 2003, da un punto di vista comparativo, risulta evidente ai 
più come gli studenti del nostro Paese si posizionino negativamente rispetto 
agli altri rispetto alla Шеғасу di lettura, matematica e scienze; da quell’anno 
Si può osservare un accresciuto interesse dei decisori politici dell'ammini- 
strazione centrale per gli esiti di PISA: grazie anche al supporto dei fondi 
europei PON, le regioni del Nord-Italia e quasi tutte le regioni del Sud, pren- 
dono parte al sovra-campionamento dell’edizione dell’indagine del 2012. 

La necessità di un sistema di valutazione nel nostro Paese, sottolineata 
come rilevante dagli esperti in ambito nazionale e internazionale negli ultimi 
quarant’anni, è diventata solo negli ultimi 15-20 anni una questione in agen- 
da grazie alla forte spinta proveniente dall’ Europa (Muzzioli et al., 2012). 
Parallelamente, la crescita di attenzione su PISA ha sotteso una prospettiva, 
in Italia e altrove, secondo cui le rilevazioni internazionali su vasta scala rap- 
presentino fonti informative sui livelli di preparazione degli studenti; con- 
seguentemente, queste indagini costituiscono strumenti in grado di offrire 
preziose informazioni per orientare le politiche scolastiche. Le metodologie 
e i quadri di riferimento di PISA, sebbene non da subito, vengono ricono- 
sciute dagli attori istituzionali come validi e attendibili perché costruiti da 
enti e consorzi accreditati nel campo dell'istruzione facenti capo all’OCSE, 
anche in virtù della crescente influenza che questi ricevono in molte realtà 
oltre i confini nazionali. 

Nel 2009 e nel 2012 il sovra-campionamento a livello regionale è stato 
effettuato su tutto il territorio nazionale e ciò ha consentito di rendere com- 
parabili gli esiti delle diverse realtà locali del nostro Paese. 

Le prime edizioni si sono prevalentemente rivolte a definire il posiziona- 
mento in chiave comparativa dell’indagine, i ricercatori iniziano ad appro- 
fondire tematiche più specifiche di analisi secondaria quali per esempio le 
questioni relative all’immigrazione, alle differenze di genere, all’istruzione 
e formazione professionale (IeFP) (Ires Piemonte, 2011; AA.VV., 2011; Pal- 
merio, 2016). I media iniziano a riportare gli esiti delle diverse pubblicazioni 
periodiche OCSE (rapporti di ricerca e focus tematici) relativi all’ indagine e 
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che offrono una serie di approfondimenti (http://www.oecd.org/pisa/pisapro- 
ducts/pisainfocus.htm). 

Dall’edizione 2015, a seguito dell’implementazione del sistema di prove 
nazionali INVALSI, l’indagine PISA torna a un campionamento esclusiva- 
mente di tipo nazionale. 

Ben prima di PISA, l’Italia aveva partecipato a moltissime indagini 
su larga scala e in particolare quelle di più lunga data organizzate dallo 
IEA, ciò sin dalla prima edizione della Six Subject Survey (1971) e fino 
alle più recenti rilevazioni TIMMS е PIRLS?. Queste indagini, però, sono 
rimaste prevalentemente confinate all’attenzione di ricercatori e accademici 
del mondo universitario (Damiani, 2016). La svolta offerta da PISA è data 
dall'attenzione dell’indagine stessa al concetto di Шегасу ossia a quell’in- 
sieme di abilità, conoscenze e competenze che possono rendere 1 futuri cit- 
tadini in grado di sapersi muovere con consapevolezza nel mondo della vita 
reale. PISA è soprattutto curriculum free e, grazie a questo riesce a eman- 
ciparsi dal recinto della riflessione sulla formazione scolastica a favore di 
una formazione di più ampio respiro: l’indagine attrae l’attenzione di quella 
corrente di pensiero che reclama il passaggio da una cultura scolastica “tra- 
smissiva” a una in cui le conoscenze sono utilizzate ai diversi livelli di tipo 
professionale, personale, psicologico o culturale (Bottani, 2016; Pedrizzi, 
2016). A PISA va riconosciuto il merito, a livello nazionale, di aver aperto 
la strada allo sviluppo della valutazione dei rendimenti degli studenti: il suo 
ruolo primario è stato quello di aver offerto un’istantanea del livello di alfa- 
betizzazione sulle competenze di base dei quindicenni del nostro Paese (re- 
ading, mathematical and science literacy) ponendolo a confronto con quel- 
lo raggiunto dagli altri Paesi consorziati all’OCSE. Il ruolo di PISA è oggi, 
però, parzialmente sostituito dall'implementazione delle prove INVALSI le 
quali, essendo su base censuaria per gli studenti dei livelli II, V, VIII, X, of- 
frono un grado di dettaglio di рта ampia portata sia al livello degli esiti degli 
studenti, sia al livello di ciascuna istituzione scolastica e del territorio in cui 
opera. Se prendiamo in considerazione il livello рт ampio, ossia quello di 
sistema, l'indagine PISA mette in evidenza lo scarso livello di competenze 
di base che gli studenti italiani quindicenni raggiungono, posti a confronto 
con quelli dagli studenti di pari età delle economie avanzate, anche a parità 
di investimenti. Gli esiti dell'indagine PISA hanno inoltre mostrato le dif- 
ferenze nei livelli di competenze raggiunti dagli studenti tra le regioni del 
Nord-Italia (livelli elevati e in linea con le economie avanzate) rispetto a 


3 Vedere Pedrizzi (2016) e Damiani (2016) per una rassegna completa sulla partecipa- 
zione. 
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quelli delle regioni del Sud (livelli più bassi rispetto alla media dei Paesi 
OCSE partecipanti alla indagine). Le differenze territoriali hanno messo in 
luce forti disparità negli esiti della valutazione scolastica nel confronto con 
le rilevazioni nazionali standardizzate. 

PISA riesce a polarizzare e formare l’attenzione di quanti chiedono alle 
scuole di rappresentare un elemento di continuità tra mondo della formazione 
e il mercato del lavoro. Solo più recentemente, a seguito della mobilitazione 
del mondo accademico (Volante e Fazio, 2017), l’impronta marcatamente 
neo-liberale dell’indagine si è evoluta verso altre forme quali, per esempio, 
l’approfondimento di competenze definite di tipo soft, intese come quelle 
relazionali e legate al benessere dello studente in grado di rispondere della 
realizzazione più complessiva di ciascun oltre l'ambito economico (Kautz et 
al., 2014; Folloni e Vittadini, 2017). 

In accordo con le categorie proposte da Pons (2011) il messaggio tra- 
smesso dall' OCSE PISA attraverso i media, può essere accettato, rifiutato о 
rinegoziato dai singoli governi: in generale, è stato osservato come da parte 
dei decisori politici gli esiti e le relative variabili di contesto siano state uti- 
lizzate per legittimare o delegittimare posizioni pre-esistenti (Novoa e Yariv- 
Mashal, 2003). Gli esiti delle indagini PISA possono essere diffusi secondo 
modalità differenziate: attraverso i canali diretti e istituzionali di PISA op- 
pure i canali indiretti ossia grazie alla rielaborazione e interpretazione delle 
informazioni selezionate dalle fonti presenti sui portali web. 

PISA promuove sé stessa attraverso diversi canali; innanzitutto sui social 
media con una pagina Facebook denominata “OECD Learning Community” 
(7.719 like al 29 gennaio 2018) e con un account Twitter @OECDEduSkills 
(82.400 followers al 29 gennaio 2018). È possibile seguire le novità di PISA 
anche con il tag #OECDPISA. Inoltre, PISA promuove se stessa attraverso 
la figura chiave a capo dell’organizzazione, ossia Andreas Schleicher, Di- 
rettore dell’istruzione dell’OCSE; egli risponde in prima persona della de- 
finizione delle metodologie e della interpretazione degli esiti dell’indagine 
tramite video-interviste, articoli e messaggi brevi sui principali social media 
(@ScleicherOECD - 20.400 followers al 29 gennaio 2018): la lettera sot- 
toscritta da 80 accademici di tutto il mondo, nelle quali sono state espresse 
le perplessità di questi stessi rispetto alla crescente influenza dell’indagine 
PISA sulle politiche per l’istruzione di tutto il mondo e pubblicata dal Guar- 
dian il 6 maggio 2014, non a caso, si rivolgeva espressamente al Direttore 
dell’istruzione dell’OCSE*. 


^ È possibile leggere la lettera seguendo il percorso: https://www.theguardian.com/educa- 
tion/2014/may/06/oecd-pisa-tests-damaging-education-academics (accesso 5 febbraio 2018). 
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Infine, è interessante sottolineare come la ricerca su Google scholar at- 
traverso le esplicite parole chiave “OECD PISA” produca 99.200 risultati 
(29 gennaio 2018); questo risultato mostra il grande interesse del mondo 
accademico e della ricerca verso l’indagine, contribuendo in tal modo alla 
diffusione e disseminazione degli esiti. 

Le fonti di informazione sia dirette sia indirette possono influenzare in mi- 
sura maggiore о minore la scelta del tipo di riforme o di politiche intraprese dai 
decisori politici. Come detto, in alcuni Paesi, come per esempio in Germania 
(Ertl, 2006; Waldow, 2009; Bieber et al., 2015; Niemann, Martens e Teltemann, 
2017), in Danimarca (Egelund, 2008) e in Polonia (Bialecki, Jakubowski e 
Wisniewski, 2017), il clamore mediatico introdotto dal PISA fu immediato 
e successivo alla prima edizione; in altri quali la Norvegia e il Regno Unito 
(Hopfenbeck e Gorgen, 2017), il Giappone (Tasaki, 2017), la Spagna (Tiana 
Ferrer, 2017) e il Portogallo (Pons, 2011; Carvalho, Costa e Gongalves, 2017), 
l’effetto di PISA si avvertì con più ritardo a partire dalle edizioni successive. 
In Germania e in Danimarca, per esempio, gli esiti del PISA hanno indirizzato 
le politiche verso alcuni elementi dirimenti nel campo dell’istruzione, ossia: la 
necessità di lasciare una sempre maggiore autonomia delle scuole dal centro, 
l’insussistenza della ripetenza, l’esigenza di ripensare l’orientamento precoce, 
e in particolar modo, la rilevanza della professione dell’insegnante in termini 
di formazione iniziale e in servizio e di qualità dell'insegnamento (Michel, 
2017). Nel nostro Paese, al contrario, una serie di studi hanno messo in eviden- 
za come le riforme politiche avviate in Italia a seguito dell’influenza di PISA 
risultino poche soprattutto se poste a confronto con altri Paesi (Breakspear, 
2012; Damiani, 2016). L'Italia, infatti, ha vissuto una situazione di incertezza 
politica e ha visto l'avvicendarsi, tra la prima edizione di PISA del 2000 e 
il 2018, più di 10 differenti ministri dell’Istruzione?, con sostituzioni talvolta 
anche all’interno di una stessa legislatura. È all’interno di un quadro così fram- 
mentato politicamente che si sono compiute una serie di riforme per il sistema 
di istruzione italiano: è difficile dire in quale misura le riforme avviate siano 
state influenzate dal messaggio di PISA. Breakspear (2012) colloca l’Italia tra 
1 Paesi che, pur con performance più basse rispetto alla media dei Paesi OCSE, 
ha risposto con deboli cambiamenti politici agli esiti di PISA. 


5 A partire dalla prima indagine PISA si sono succeduti il ministro Berlinguer (22 dicem- 
bre 1999-25 aprile 2000), il ministro De Mauro (25 aprile 2000-11 giugno 2001), la Ministra 
Moratti (11 giugno 2001-18 maggio 2006), il ministro Fioroni (17 maggio 2006-8 maggio 
2008); la ministra Gelmini (8 maggio 2008-16 novembre 2006); il ministro Profumo (16 
novembre 2011-28 aprile 2013); la ministra Carrozza (28 aprile 2013-22 febbraio 2014); la 
ministra Giannini (22 febbraio 2014-12 dicembre 2016) e la ministra Fedeli (12 dicembre 
2016-1 giugno 2018), il ministro Bussetti (1 giugno 2018-attualmente in carica). 
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È in ogni caso possibile analizzare il messaggio proposto dai media sul 
PISA (per esempio relativamente agli strumenti, alle modalità e alle policy), 
le specifiche problematiche che sono state individuate rispetto all’Italia a 
seguito degli esiti dell’indagine e l’effettiva definizione delle politiche sco- 
lastiche per il cambiamento. La prima riflessione istituzionale a partire degli 
esiti dell’indagine internazionale comparativa PISA in un documento pubbli- 
co si ha nel settembre del 2007 con il Quaderno bianco sulla scuola? ossia il 
documento della Presidenza del Consiglio dei ministri che, nel 2007, dopo 
un’analisi del sistema di istruzione e formazione sottolineandone le luci e 
le molte ombre, sintetizzava la linea politica adottata dall’allora Governo 
Prodi in quel campo. In questo documento si fa esplicito riferimento al basso 
posizionamento degli studenti italiani nel contesto internazionale e alle dif- 
ferenze di performance tra gli studenti quindicenni delle aree del Nord del 
Paese e quelle del Sud. 

Gli esiti delle prove PISA sono anche ripresi nelle Indicazioni nazionali e 
nelle Linee guida per la riforma dei licei: in particolare, nella riformulazio- 
ne dei curricola della matematica, si fa esplicito riferimento al framework 
teorico di PISA della matematica (INVALSI, 2012). Per il resto, non abbia- 
mo identificato ulteriori iniziative politiche, leggi o regolamenti, veicolati 
da documenti istituzionali, che facciano chiaramente riferimento agli esiti di 
PISA ad eccezione di quelli che fanno riferimento ai finanziamenti PON e 
PON-FESR dall’Unione Europea. 

La comunicazione mediatica come quella politica, di cui è parte integran- 
te (Frisje, 1982) stenta a porre nel dibattito elementi di criticità e riflessione 
sia sulle metodologie che sui contenuti, oltreché sugli esiti dell’indagine. 
Oltre confine, invece, l’attenzione dei media sembra essere rivolta principal- 
mente verso le criticità della metodologia e di contenuto dell’indagine. Per 
esempio, attualmente, il focus di alcuni media britannici e statunitensi è sul 
test di competenza globale” (BBC News, 24 gennaio 20185; The PIE News, 


6 https://archivio.pubblica.istruzione.it/news/2007/allegati/quaderno_bianco.pdf. 

7 Il concetto di competenza globale è da intendersi соте la capacità dei singoli di, se- 
condo la definizione dell' OCSE, “analizzare, criticamente e secondo molteplici prospettive, 
le questioni globali e interculturali, di capire come le differenze influenzano le percezioni, i 
giudizi e l'idea di se stessi e degli altri, e di saperle trattare apertamente, in modo appropriato 
ed efficace nell'interagire con altre persone dai differenti percorsi sulla base di un condiviso 
rispetto per la dignità umana" (OECD, 2016, p. 4). 

* BBC News (2018), England and US will not take PISA tests in tolerance, by Sean 
Coughlan, 24th January 2018, http://www.bbc.com/news/business-42781376 (ultimo accesso 
31/1/2018). 
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5 gennaio 2018"; Business Insider, 24 gennaio 2018"; iNews, 24 gennaio 
2018") previsto per l'edizione 2018. La stampa riporta come Inghilterra e 
Stati Uniti insieme a Germania, Francia, Danimarca, Paesi Bassi, Finlandia 
e Irlanda abbiano deciso di non partecipare al test di competenza globale e 
di svolgere solo quelli nelle tradizionali discipline di scienze, matematica e 
lettura?. Diversamente Scozia, Australia e Canada e altri 24 Paesi partecipe- 
ranno all'indagine. I media britannici e statunitensi (o almeno una parte di 
questi) riportano le affermazioni dei decisori che, nella lettura, sembrano so- 
stenute da un chiaro orientamento scientifico e metodologico; sembrerebbe 
quindi che i decisori politici, prima di offrire dichiarazioni, si rivolgano a un 
proprio entourage preparato nell’offrire posizioni informate. La scelta di non 
partecipare al test di competenza globale risponde a un preciso approccio 
teorico che ritiene le soft skills misure ancora difficilmente analizzabili ri- 
spetto alle рт consolidate metodologie sulle competenze cognitive (Gutman 
e Schoon, 2013). Il concetto di non-cognitive skill o soft skill è molto com- 
plesso e sfumato perché include tratti della personalità, aspetti del carattere e 
dimensioni socio-emozionali difficili da rilevare (Folloni e Vittadini, 2017). 


3. Come Google seleziona e presenta le notizie? 


Prima di procedere con la presentazione degli obiettivi e della metodolo- 
gia adottata nella ricerca e con l'illustrazione dei risultati, е opportuno com- 
prendere le modalità secondo cui il portale di ricerca seleziona e riporta le 
notizie che sono poi di pubblico accesso. I risultati visualizzati in Google 
"Notizie" sono selezionati, salvo diversa indicazione, da algoritmi informa- 
tici che stabiliscono quali risultati visualizzare e in quale ordine”. Google 


? The PIE News (2018), "Global competence” to be tested by OECD, 24th January 2018, 
https://thepienews.com/news/global-competence-added-to-oecd-pisa-test-of-global-students/ 
(ultimo accesso 31/1/2018). 

10 Business Insider (2018), The Trump administration has opted out of testing whe- 
ther school kids can recognize fake news, by Alexandra Ma, http://www.businessinsider. 
com/trump-administration-opts-out-of-oecd-fake-news-test-2018-1?IR=T (ultimo accesso 
31/1/2018). 

! iNews (2018), Schools in England opt out of international tolerance and cultural awa- 
reness test, by SerinaSandu, 24th January 2018, https://inews.co.uk/news/education/schools- 
england-opt-tolerance-cultural-awareness-test/ (ultimo accesso 31/1/2018). 

? [Italia non parteciperà al test ma questa informazione поп è riportata negli articoli 
citati. 

! Per approfondimenti è possibile avere informazioni seguendo il link: https://support. 
Google.com/news/answer/402 13?hl-it (data di accesso: gennaio 2018). 
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e, più in generale, 1 portali di ricerca su web utilizzano i “crawler”, ossia 
software che analizzano e scansionano la rete e 1 siti internet, valutandone 
l’attendibilità e selezionandone l’informazione sulla base di: 

— informazioni di qualità su temi importanti e di interesse per il lettore. In 
questo caso la geolocalizzazione dell’utente gioca un peso specifico nel se- 
lezionare in modo prevalente gli articoli redatti nello stesso contesto locale; 

— notizie reali scritte con standard giornalistici e non messaggi pubblicitari 
mascherati; 

— autorevolezza e competenza a trattare la materia dell’articolo; 

— informazioni specifiche sul sito: i link di Google riportano parametri quali 
contatti (persone fisiche) di riferimento la sede e, nel caso di giornale 
online, la redazione con i nomi dei collaboratori ecc.; 

— URL degli articoli; 

— formato degli articoli esclusivamente in HTML (no pdf, word ecc.); 

— utilizzo del tag titoli (h1, h2, h3); 

— accesso diretto alla notizia senza doversi necessariamente registrare. 


4. Domande e metodologia della ricerca 


Sulla base di quanto scritto sinora é possibile definire una serie di doman- 
de di ricerca. 

Quali sono i principali temi presentati nelle notizie selezionate dal motore 
di ricerca Google? Quali sono 1 principali focus di attenzione? Le tematiche 
affrontate nelle notizie sono oggetto di una riflessione critica e di un appro- 
fondimento? O piuttosto riflettono la capacità delle fonti "dirette" dell OCSE 
di saper attrarre l'attenzione della fonte di notizie? Quanto spazio viene dato 
alla discussione pubblica sul metodo o agli aspetti critici dell’indagine nelle 
notizie selezionate? In che modo le notizie riportano le eventuali reazioni 
politiche sul OCSE-PISA? 

La scelta da noi operata di utilizzare l'analisi documentaria (Arosio, 
2013), in quanto procedimento in uso nella ricerca sociale in funzione degli 
interessi conoscitivi e delle domande di ricerca che ci siamo poste (Losito, 
2007), ha avuto come obiettivo quello di creare una rassegna delle principali 
notizie selezionate dal motore di ricerca Google, contenenti riferimenti al- 
l'indagine OCSE-PISA. L'analisi 6 stata condotta secondo la modalità de- 
finita di tipo “inchiesta” (Losito, 2007); secondo questo approccio il testo è 
preso in esame nella sua totalità per individuare il tema prevalente presente 
nel contributo dove ció consente di ricollocare il tema della notizia a una 
serie di categorie individuate a priori dal ricercatore. 
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L’individuazione dei contributi è stata operata attraverso il motore di ri- 
cerca Google (www.google.it): nel periodo compreso tra dicembre 2017 e 
gennaio 2018 sono state digitate le parole chiave “OCSE PISA” nel motore 
di ricerca; in questo modo è stato possibile selezionare un numero comples- 
sivo di notizie pari a 353 pubblicate in un arco di tempo compreso tra il 2006 
e il gennaio 2018". L’analisi delle notizie è stata condotta in tre fasi. Nella 
prima fase sono state sistematizzate le notizie selezionate: al fine di rilevare 
la presenza di specifiche tematiche riferite all’indagine PISA nei testi presi in 
esame, si è proceduto, in primo luogo, con una classificazione delle notizie 
sulla base di un tema prevalente all’interno di queste. La scelta dei temi ri- 
manda a un set di parole chiave (keywords) che fa riferimento alla letteratura 
di settore (https://stats.oecd.org/glossary/index.htm). È stato cosi possibile 
individuare un set di 24 tematiche (vedere elenco di tabella 2) e che ha deter- 
minato la definizione di alcune categorie relative al contenuto (Della Ratta 
Rinaldi, 2007; Losito, 2002). A ciascuna notizia è stata assegnata un’unica 
categoria tematica sulla base del “criterio della prevalenza” (Losito, 2007): 
l’assegnazione del tema da parte del ricercatore è stata rimandata alla ricor- 
renza delle stesse parole chiave o similari nella notizia stessa o all’interpre- 
tazione del tema prevalente del ricercatore sulla base del contenuto comples- 
sivo. Ciò ha consentito di formalizzare i dati raccolti in un dataset contente, 
come detto, 353 contributi estrapolati dalla sezione “Notizie” del motore di 
ricerca; le notizie sono state pubblicate da 127 diverse fonti web nazionali 
e locali (vedere elenco di tabella 1). I contributi sono stati catalogati per nu- 
mero progressivo, data di pubblicazione, nome della testata, indirizzo web 
di riferimento (link). È stato così possibile identificare una matrice casi per 
variabili e procedere con una serie di analisi di tipo statistico (fase 1) i cui 
esiti sono presentati nel paragrafo 4. 

Nella fase successiva (fase 2), si è operata la selezione dei contributi sul- 
le quattro fonti selezionate da Google che riportano il maggior numero di 
notizie. Le fonti sono: il Corriere della Sera, la Repubblica, Il Sole 24 ore 
e Orizzonte Scuola. Le prime tre fonti coincidono con i portali giornalistici 
a maggiore diffusione nazionale: secondo i dati di novembre 2017 di ADS! 


^ Il contributo raccoglie la totalità degli articoli in di lingua italiana rispetto alle parole 
chiave “OCSE PISA” disponibili al gennaio 2018: la ricerca è stata effettuata da una postazio- 
ne geolocalizzata nel comune di Milano. L’aver preso in esame la totalità degli articoli lascia 
ipotizzare il superamento (almeno parziale) della problematica legata alla selezione delle no- 
tizie sulla base della geolocalizzazione dell’utente (vedere paragrafo 2). 

5 ADS – Accertamenti diffusione stampa — è la società che certifica e divulga i dati re- 
lativi alla tiratura e alla diffusione e/o distribuzione della stampa quotidiana e periodica di 
qualunque specie pubblicata in Italia. 
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(http://www.adsnotizie.it/ дан DMS.asp, accesso 31/1/2018), il Corriere 
della Sera risulta la testata giornalistica con maggiore diffusione cartacea e 
digitale (300.301 tirature), seguito da Ја Repubblica (212.062 tirature) е da И 
Sole 24 ore (172.293). Orizzonte Scuola è la rivista con più notizie su Google 
per OCSE PISA dopo i tre quotidiani individuati e rappresenta un’importan- 
te fonte di informazione per molti insegnanti che operano quotidianamente 
all’interno delle scuole. La seconda fase ha previsto un’Analisi delle corri- 
spondenze fra le categorie individuate e le quattro fonti informative selezio- 
nate, tramite l'utilizzo della tecnica della Riduzione delle dimensioni. Quest? 
ultima è una tecnica di analisi statistica multivariata a carattere esplorativo 
volta ad analizzare l’esistenza di schemi di associazione tra variabili quali- 
tative. Obiettivo dell’ Analisi delle corrispondenze è quello di identificare la 
relazione tra le aree tematiche individuate e il tipo di fonte di notizie in una 
tabella che riporti uno spazio dimensionale ridotto, descrivendone al con- 
tempo le caratteristiche (Vardanega, 2007; De Lillo et al., 2007). Per ogni 
variabile la distanza tra le categorie è rappresentata su un grafico a punti 
dove le categorie tematiche più affini risultano più vicine e le meno affini più 
lontane rispetto alla variabile illustrativa che, nel nostro caso, è rappresentata 
dalla fonte di informazione. Questa seconda fase ha come obiettivo quello 
di indicare l’orientamento dei portali giornalistici rispetto ai temi trattati e 
individuare gli elementi di convergenza e di divergenza tra i portali. 

La terza fase, infine, analizza nel dettaglio i contenuti; sono quindi ri- 
portati alcuni estratti qualitativi tratti dalle notizie selezionate in modo da 
offrire esempi delle modalità attraverso cui le informazioni sono veicolate 
all’interno dei testi trattati. 


5. Analisi e rsultati 
5.1. Le tematiche e le fonti web di Google 


Tra le 24 categorie individuate (tabella 2), le graduatorie ossia i ranking 
di punteggio delle perfomance complessive degli studenti per ciascun Paese 
o area territoriale, rappresentano il tema di maggiore interesse per le 127 
fonti giornalistiche (41 notizie su 353 ossia 1'11,6% sul totale) (tabella 2). 
Seguono immediatamente dopo, due questioni affini tra loro, ossia i temi le- 
gati all’inclusione e quelli legati al benessere degli studenti (rispettivamente 
35 e 30 ricorrenze). Da un lato, l’attenzione sull’inclusione può riflettere 
una tradizione culturale di grande sensibilità dei Paesi occidentali e, in par- 
ticolare, del nostro Paese su questo specifico tema (Longobardi e Agasisti, 
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2012; Martini, 2014) е dall'altro, in riferimento alle notizie più recenti, può 
rappresentare lo specchio delle novità introdotte dall’OCSE in relazione ai 
temi del benessere degli studenti (OECD, 2017). 

L’educazione finanziaria come ambito di rilevazione, trova uno specifico 
spazio nell’indagine PISA a partire dall’edizione 2012, quando, cioè, ai Paesi 
è data la possibilità di integrare, alle tradizionali indagini, una rilevazione 
specifica su questo tema. L'educazione finanziaria come tema di indagine 
PISA si colloca al quarto posto nell’elenco dei temi più trattati (31 ricor- 
renze) ed è un segnale di come gli aspetti economici costituiscano tuttora 
elementi di attrattività dell’indagine stessa (Meyer e Benavot, 2013). 

A seguire, si trova il tema dell’orientamento, inteso come quell’insieme 
di pratiche che offrono indicazioni, strategie, suggerimenti finalizzati ad aiu- 
tare gli studenti e le studentesse a conoscere le proprie inclinazioni personali 
e le relative scelte professionali e scolastiche future: questo argomento si 
colloca al quinto posto tra quelli più ripresi dalle fonti di informazione (23 
ricorrenze). 

La questione delle differenze territoriali (vedere paragrafo 1), che ricor- 
diamo essere stata uno dei temi la cui attenzione è stata sollevata primaria- 
mente dall’OCSE PISA nel nostro Paese, si colloca tra le tematiche ancora 
più trattate (18 ricorrenze). 

Tra le discipline su cui si focalizza PISA, la matematica intesa come con- 
tenuto disciplinare è quella che attrae la maggiore attenzione degli autori 
delle notizie (16 ricorrenze), in misura un ро” più ridotta PISA è chiamato in 
causa quando si parla di italiano (10 ricorrenze); questa stessa indagine in 
alcuni casi diventa occasione per parlare anche di altre discipline (4 ricor- 
renze). I contributi legati alla discussione delle metodologie ossia a quell’in- 
sieme di metodi e tecniche che caratterizzano l’indagine OCSE PISA sono 
presenti ma in numero limitato (13 ricorrenze). 


5.2. Focus sulle fonti più selezionate da Google 


Osservando le 4 fonti di informazione selezionate dal motore di ricer- 
ca, si evidenzia un diverso orientamento nell’individuare gli argomenti per 
ciascuna di esse (tabella 2 e figura 1). Il Corriere della Sera risulta la fonte 
con il maggior numero di notizie (57 su 353) e con la maggiore varietà di 
argomenti trattati (19 su 24): il portale online offre una specifica attenzione 
sulle tematiche legate al genere (14% delle notizie), sull’inclusione (10,5%) 
ma anche sulle politiche scolastiche implementate in altri Paesi (8,8%), sul- 
la matematica (8,8%), sui temi dell’orientamento (8,8%) e delle università 
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(7,3%). In riferimento а /a Repubblica (30 su 353 notizie) si rileva una va- 
rietà pari a 16 sulle 24 tematiche individuate; in questo caso il focus degli 
argomenti si rivolge alle graduatorie (19,3%), al genere, alla dispersione e al 
ritardo scolastico (9,7%). 

Tra i quattro portali analizzati, è И Sole 24 ore (31 notizie) che presenta 
la maggiore attenzione alle graduatorie (26,6% su 31 notizie), segue il be- 
nessere degli studenti (13,6%) e, alla pari, l'educazione finanziaria, l’orien- 
tamento, le politiche scolastiche estere (10%). И Sole 24 ore presenta una 
varietà di argomenti trattati pari a 13. Infine, Orizzonte scuola (28 notizie) 
lega l’indagine PISA alla trattazione del tema dei docenti e del reclutamento 
del personale (17,9% dei contributi), delle graduatorie (14,3%) e al tema dei 
compiti a casa (10,7%). Come il Corriere e la Repubblica dedica specifica 
attenzione al tema dell’inclusione (10,7%). Presenta una varietà di argomenti 
pari a 13. 

La figura 1 rappresenta graficamente le distanze misurate con la tecnica 
di riduzione dei dati offerta dall’ Analisi delle corrispondenze; è qui possibile 
avere una rappresentazione visiva della distanza/vicinanza delle fonti di no- 
tizie alle relative categorie tematiche. // Sole 24 ore si mostra come la fonte 
di notizie, tra le quattro analizzate, più equidistante da ciascuna tematica 
trattata. Più agli estremi e quindi più distanti da alcune categorie sono gli altri 
canali di notizie: in particolare il Corriere che, come detto, è sensibile alle 
tematiche di genere e alle questioni legate alle università e all’orientamen- 
to, appare invece distante alla trattazione delle fake news e dell’alternanza 
scuola lavoro. Repubblica, diversamente, è vicina al tema delle graduatorie 
e dell’educazione finanziaria ma lontana dalla trattazione dei temi più legati 
alla vita quotidiana degli studenti quali i compiti a casa o l’alternanza scuola/ 
lavoro. Orizzonte scuola, per contro, è molto vicina ai temi degli insegnanti e 
a quelli che interessano il quotidiano degli studenti ma più distante dai temi 
legati all’educazione finanziaria o alle università. 

È qui utilizzata l’analisi delle corrispondenze per riassumere le informa- 
zioni presenti nella matrice dei dati disponibili e individuare 1 fattori latenti 
sottostanti la rappresentazione del dataset. Questa tecnica appartiene all’area 
dell’analisi dei dati multivariati nota come riduzione dimensionale. La tec- 
nica della riduzione dei dati individua due componenti principali in grado 
di rappresentare profili differenti di portali (tabella 3). Più nello specifico, 
uno degli obiettivi dell’analisi delle corrispondenze è quello di descrivere la 
relazione tra due variabili nominali in una tabella delle corrispondenze dallo 
spazio unidimensionale. Per ciascuna variabile, la distanza tra i punti delle 
categorie è definita e rappresentata in un grafico che riflette la relazione tra le 
categorie con caratteristiche simili una all’altra. 
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Con il supporto del programma statistico SPSS-IBM (versione 25) è stato 
definito l’intervallo per i codici delle categorie (24 per la variabile parole 
chiave e 4 per i portali di notizie). È stato scelto un modello con soluzione 
a 2 dimensioni e una misura di distanza basata sul chi-quadrato con me- 
todo di normalizzazione simmetrico. Le due dimensioni estratte portano a 
una percentuale di inerzia spiegata cumulata pari al 78,6% mentre il test di 
indipendenza del chi-quadrato è pari a 86,94 con una significatività pari a 
0,071. La tabella 3 evidenzia i valori che per ciascuna componente sono utili 
a individuare e descrivere le dimensioni latenti: i valori positivi la cui cella è 
evidenziata in grigio scuro saturano e denotano un estremo della componente 
e le celle in grigio chiaro con valori negativi saturano la componente sull’al- 
tro estremo delineandone caratteristiche opposte. 

In questo modo è possibile passare alla definizione delle due componenti 
estratte. La prima componente, che è stata definita “Professionalità insegnan- 
te: nel breve periodo vs. nel lungo periodo”, raggruppa da un lato le catego- 
rie legate ai docenti e al reclutamento del personale, all’alternanza scuola/ 
lavoro, ai compiti a casa, al lavoro delle scuole paritarie. All’altro estremo 
della componente si rileva attenzione sulle diseguaglianze e sulle tematiche 
di genere, sulle metodologie, sulle discipline di italiano e di matematica e 
sull’università. Questa componente individua due diverse prospettive: una 
più focalizzata e attenta alle esperienze legate alla professionalità degli inse- 
gnanti: una più attenta a come questa si declina nelle attività d’aula nel breve 
periodo e l’altra più attenta ai riflessi nel lungo periodo sulle competenze 
degli studenti ossia al termine del ciclo di studi quando cioè gli studenti e le 
studentesse si trovano a doversi relazionare nel mercato del lavoro e dell’u- 
niversità (anche nei termini di disparità non azzerate derivanti per esempio 
dalle differenze di genere). 

Una seconda componente, identificata come “Processi vs. output” cate- 
gorizza a un estremo le seguenti modalità: alternanza scuola lavoro, compiti 
a casa, diseguaglianze e metodologie; all’altro estremo l’educazione finan- 
ziaria, le јаке news e le graduatorie. Questa componente, più dell’altra vista 
in precedenza, evidenzia come l’attenzione delle riviste si articoli da un lato 
verso metodologie didattiche (e tra queste anche le specifiche metodologie 
che caratterizzano l’impianto didattico sotteso ai test proposti da indagini su 
larga scala quali PISA) utilizzate nella scuola e alla trattazione delle disegua- 
glianze all’interno delle fasi di processo e dall'altro a un’attenzione specifica 
sull’effettiva capacità degli studenti di sapersi muovere in un mondo com- 
plesso e competitivo in cui è necessario saper selezionare le informazioni più 
importanti. 
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Fig. 1 — Grafico delle corrispondenze tra categorie tematiche e fonti di informazione 


5.3. Alcune riflessioni sui contenuti delle notizie 


La riflessione sui contenuti delle notizie (tabella 2) lascia emergere 
come, nella maggior parte dei casi, le notizie trovino spazio in concomi- 
tanza all'uscita dei rapporti OCSE o a seguito di dichiarazioni di esponenti 
dell'OCSE in merito a nuovi esiti. Di solito, l'autore della notizia riporta 
fedelmente l'informazione cosi come presentata dall' OCSE e poco o nessu- 
no spazio е dedicato all'interpretazione delle informazioni ricevute, motivo 
per cui i contributi di fonti di canali diversi e relativi allo periodo si uscita 
si assomigliano moltissimo nei contenuti. E stato possibile identificare solo 
10 contributi che articolano la notizia in modo più complesso (6 articoli tra 
1 portali selezionati): una minoranza di articoli, quindi, che lascia intendere 
come raramente le notizie offrano un framework interpretativo oltre alla 
comunicazione della notizia stessa. In alcuni casi, la tendenza a non con- 
testualizzare la notizia ha portato a una trasmissione del messaggio poco 
corretta o fuorviante. А fine marzo 2017, per esempio, l'OCSE ha presen- 
tato gli esiti di un report sull'inclusività per ciascun Paese partecipante. Le 
dichiarazioni dell' OCSE segnalavano come la differenza della performance 
tra studenti, in Italia, risulti ridotta rispetto ad altri Paesi. A seguito di questa 
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dichiarazione, in molti ne hanno rapidamente concluso che il sistema scola- 
stico italiano sia molto più equo di altri. In realtà, il basso differenziale della 
performance è dato dal livellamento verso il basso delle scarse performance 
degli studenti italiani (Martini, 2005). Il 29 marzo 2017, immediatamente 
dopo le dichiarazioni degli organi di governo dell’OCSE PISA, sui canali 
di informazione vengono resi pubblici una serie di titoli di cui riportiamo 
solo alcuni esempi: 


La scuola italiana è la più inclusiva d’Europa: riduce il gap tra i ricchi e poveri 
(la Repubblica). 


L'OCSE promuove la scuola italiana (// Corriere Nazionale). 
La scuola riduce le disparità. Ma 1 poveri restano indietro (Corriere della Sera). 
OCSE promuove scuola italiana, colma gap (Ansa.it). 


Scuola italiana: ridotto il gap tra ricchi e poveri lo dice l’indagine OCSE (affari 
italiani.it). 

OCSE, scuola italiana tra le migliori in Europa: inclusiva e supporta meglio i 
meno fortunati (Tuttoscuola.it). 


Nei giorni successivi, le fonti più attente hanno corretto l’interpretazione 
offerta dai titoli dei contributi, in alcuni casi riportando le precisazioni degli 
esponenti della stessa OCSE oppure di ricercatori esperti appartenenti alla 
comunità scientifica. Tuttavia, una lettura rapida dei soli titoli, può contribu- 
ire a creare un’opinione distorta del tema nel lettore. Alcune fonti di notizie 
sembrano più attente di altre a offrire contributi che riportino informazioni 
corrette e sostenute da dati ed evidenze e ad avviare un dibattito costruttivo 
al proprio interno: tra queste è possibile citare Tuttoscuola, Il Sussidiario e Il 
Sole 24 ore. Tra questi per esempio si segnalano 1 seguenti articoli: 


Lavorare in gruppo con successo, perché 1 licei italiani sono sopra la media 
OCSE? (Il Sussidiario, 4 dicembre 2017). 


I migliori maestri di «problem solving»? Omero e Ungaretti (П Sussidiario, 4 
dicembre 2017). 


La scelta dei figli? Genitori, dimenticate tabelle e numeri (e anche gli open day) 
(11 Sussidiario, 1 dicembre 2017). 


Educazione finanziaria, una risposta efficace al mondo che cambia (1 Sole 24 
ore, 29 novembre 2017). 


Qual è l’obiettivo generale del sistema educativo e formativo italiano? (1 Sole 
24 ore, 17 novembre 2017). 
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Educare al pensiero critico (П Sole 24 ore, 23 ottobre 2016). 


Luci e ombre della scuola italiana: per l'OCSE è inclusiva (Типохсиоја, 3 aprile 
2017). 


Indagini internazionali: i diversi approcci di ТЕА e OCSE (Tuttoscuola, 17 di- 
cembre, 2012). 


Quali skills per i giovani del XXI secolo? Cosa può fare la scuola italiana (Tut- 
toscuola, 19 settembre 2017). 


In generale, a partire dalle analisi effettuate, ció che sembra mancare ne- 
gli articoli visionati, é un punto di vista informato che, oltre alle opinioni o 
alle dichiarazioni dell' OCSE, rifletta interpretazioni e analisi offerte dalla 
comunità scientifica. Per esempio, il portale online comune-info.it, testata lo- 
cale, affronta il tema dell'attrattività e del benessere nelle scuole, tema assai 
dibattuto nella comunità scientifica, ma lo fa, a nostro avviso, senza offrire 
informazioni strutturate a partire dalle quali sostenere la propria posizione 
critica. 


Se nel Paese fiorisse un pensiero autonomo sul nostro sistema formativo, distante 
dal rincorrere gli altri e dai test dell' OCSE PISA, forse saremmo in grado di porre un 
rimedio: non 6 questione di aggiustamenti o correttivi, ma di pensieri radicalmente 
nuovi, che necessitano di respiro e di tempo [...] Se la scuola non piace, non е per- 
ché 1 nostri ragazzi sono tutti dei Pinocchio o dei Lucignolo. La prima domanda da 
porsi e a cui rispondere е: perché il modo di studiare che proponiamo nelle nostre 
aule non é in grado di motivare al piacere dell'apprendimento? Né dobbiamo cadere 
per questo in una sorta di attivismo mal digerito, per cui per rendere meno amara la 
pillola si inventano giochi e diversivi, ma la sostanza della didattica resta sempre la 
stessa (comune-info.it, 8 aprile 2016). 


Altre fonti informative, sostengono posizioni che, per quanto legittime, 
non trovano completezza informativa nella notizia rispetto alle metodologie 
e alle tecniche messi in campo dall'indagine OCSE PISA. 


Ecco perché i test [...] andrebbero aboliti. I motivi sarebbero davvero tanti, ma 
riassumibili in definitiva in due punti: innanzitutto, attraverso questi test, non si tiene 
conto della disomogeneità territoriale degli agenti culturali. La quale produce, per 
forza di cose, delle differenze tra alunni che appartengono a contesti scolastici com- 
pletamente diversi; in questo caso, la scuola che si trova in un quartiere disagiato e de- 
privato culturalmente, esce svantaggiata dal test (Orizzonte scuola, 26 maggio 2017). 


Nell'ultimo stralcio emerge la tematica della contestualizzazione delle 
performance degli studenti sulla base del contesto socio-economico e cultu- 
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rale di riferimento. Per quanto la questione sia oggettivamente complessa da 
un punto di vista scientifico, la fonte di informazione non riporta come І?ОС- 
SE PISA abbia presente e affronti, sin dalle primissime edizioni, la questione 
della contestualizzazione delle performance rispetto allo svantaggio socio- 
economico. In particolare, l’indicatore di status-socio-economico e culturale 
(ESCS) è un indice costruito e utilizzato proprio per rispondere alla necessità 
di tenere presente 1 fattori di contesto nel momento in cui si definiscono le 
performance degli studenti (OECD, 2016b). 

Ancora, il Corriere della Sera, in un articolo del 4 dicembre 2016 defini- 
sce 1 test PISA come “quiz” sia nel titolo iniziale e sia nello sviluppo dell’ar- 
ticolo: il test è qui equiparato, nell’accezione comune, alla definizione di un 
“indovinello” sminuendo la complessità che invece sottende la costruzione 
dei test di valutazione su larga scala (PISA, IEA, INVALSI per езетрло)!“. 


6. Conclusioni 


L’OCSE, in quanto organo sovranazionale, è al centro di un vasto dibat- 
tito internazionale proprio perché, come detto, esercita un’influenza sempre 
maggiore sui governi nazionali in materia di istruzione e formazione e non 
solo. È però molto difficile dire in che misura gli esiti di indagini come il 
PISA, direttamente promosse dall’OCSE, influenzino concretamente le deci- 
sioni politiche, soprattutto in un Paese come l’Italia dove è possibile rilevare 
un numero molto limitato di documenti istituzionali che utilizzano le eviden- 
ze empiriche emerse per giustificare le proposte politiche (Meyer e Benavot, 
2013; Morgan e Volante, 2016; Michel, 2017). 

Se, da un lato, i portali di informazione mediano le notizie sull’indagi- 
ne PISA, dall’altro, proprio perché le producono, rappresentano la cartina 
di tornasole dell’eventuale dibattito che si può instaurare tra i diversi atto- 
ri. Pons (2011) invita a riflettere su come il messaggio trasmesso da OCSE 
PISA possa essere accettato o rinegoziato dai Paesi partecipanti e dai re- 
lativi decisori politici e come tale messaggio sia poi utilizzato per avviare 
eventuali riforme. I media rappresentano il principale canale di trasmissione 
dell’informazione su OCSE-PISA e il motore di ricerca Google è uno degli 
strumenti più noti e utilizzati per acquisire informazioni sull'indagine. 

Cosi come in molti altri Paesi, anche in Italia l'indagine PISA е una fonte 
di notizie che riscuote un certo interesse da parte dei canali di informazione. 


16 http://www.corriere.it/scuola/secondaria/cards/scuola-ecco-quiz-test-pisa-2015-sco- 
pri-se-conosci-risposte-scienze/migrazione-uccelli-1_principale.shtml. 
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In generale, però, rispetto a quanto analizzato, emerge come i canali di in- 
formazione siano più propensi a limitarsi a riportare quanto dichiarato dalle 
fonti OCSE, più che a interpretarle supportandole con una pluralità di altre 
fonti informative. Si assiste a un’elevata semplificazione della rappresenta- 
zione della complessità di un’indagine come PISA; lo scarso approfondi- 
mento dei messaggi trasmessi, di frequente, si concretizza in titoli di apertura 
che trasmettono comunicazioni fuorvianti o del tutto sbagliate (Fernández- 
Aliseda Garrido, 2016). Questo dato è particolarmente degno di nota nel 
momento in cui 1 titoli rappresentano la principale modalità di costruzione 
dell’opinione comune per quanti non hanno modo/tempo di approfondire 
la questione attraverso la lettura dell'intero articolo (Dixon et al., 2009). А 
seguito dell’espansione dei social network, il lancio di titoli brevi e molto 
semplificati rischia di non avviare un dibattito fondato su una pluralità di 
aspetti con solide basi scientifiche (Tiana Ferrer, 2017). 

Maggiore spazio è dedicato a quegli argomenti che veicolano un mes- 
saggio negativo, stimolando allarmismo e sottolineano lo stato di crisi del 
sistema scolastico nazionale (Dixon et al., 2009): la sola pubblicazione delle 
graduatorie, che sistematicamente posiziona il nostro Paese in difficoltà ri- 
spetto ad altri a economia avanzata, non trova specifici approfondimenti di 
dibattito al fine dell’implementazione di possibili soluzioni. Anche quando 
le notizie che arrivano dall' OCSE appaiono positive (come nel caso del rap- 
porto OCSE di marzo 2017), le fonti di informazione non sembrano in grado 
di porsi in chiave riflessiva sulle notizie rese pubbliche. Come visto nel para- 
grafo 1, nel contesto internazionale, non mancano le fonti di informazione in 
grado di offrire modelli più problematizzati sia rispetto alle scelte politiche 
adottate dai diversi governi sia rispetto all'indagine e alle sue caratteristiche; 
e inoltre da notare che alcune fonti di informazione, come per esempio acca- 
de in Spagna, sono oggi più attente rispetto al passato nel veicolare un’infor- 
mazione più articolata sull OCSE PISA (Tiana Ferrer, 2017). 

Nei contributi analizzati sulle principali fonti giornalistiche non abbiamo 
rilevato alcun dibattito aperto in merito agli esiti dell'indagine: a tratti emer- 
ge il lavoro di una comunità scientifica su questi temi, consultata in modo 
sporadico dai media, e non sistematicamente al fine di portare 11 dibattito 
a un livello piü complesso e articolato. La scarsa comunicazione politica, 
cosi come veicolata dagli articoli selezionati dal motore di ricerca, pare non 
essere in grado di produrre un'opinione pubblica informata, cui la comunità 
scientifica, se interpellata, potrebbe offrire approfondimenti e possibili rispo- 
ste. Per utilizzare le categorie proposte da Pons (2011) si potrebbe affermare 
che il messaggio trasmesso dai media non viene né rifiutato né rinegoziato 
dalle fonti di notizie e da coloro che contribuiscono al dibattito politico, ma 
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neppure accettato dal momento che viene a mancare quel processo di пе- 
laborazione che rende il messaggio realmente fatto proprio dai media e dai 
decisori politici. 

Sicuramente il tema che si apre è molto più ampio di quello esposto in 
questo saggio che ne mostra solo alcuni — seppur rilevanti — aspetti empirici. 
Il dibattito che si sta aprendo in molti settori della società, ha a che fare con 
il complesso rapporto fra esiti della ricerca scientifica, disseminazione dei 
risultati — e quindi anche alle modalità di divulgazione adottate dai media e 
dai new media — e percezione dell’uso di questi risultati da parte dei cittadini. 

E ancora di più questo riguarda il settore dell’educazione; infatti nelle 
società contemporanee l’istruzione e la formazione giocano un ruolo consi- 
derato rilevante in quanto costituiscono risorse fondamentali per lo sviluppo 
del singolo e della collettività (Schizzerotto e Barone 2006). La scuola è 
oggetto di attenzione da parte delle istituzioni, dei media e dell’opinione 
pubblica in generale, trovandosi al centro di un dibattito trasversale: tutti 
oggi parlano di scuola (Grubb et a/., 2004). Comunicare gli esiti della ricerca 
educativa è, quindi, diventato prioritario, affinché 1 cittadini possano сопо- 
scerne i risultati. Al contempo, però, gli studi sulla divulgazione scientifica, 
ancor più dopo la pubblicazione del Rapporto sul Public Understanding of 
Science (The Royal Society, 1985; Millar e Wynne, 1988), attribuiscono im- 
portanza al coinvolgimento dei destinatari della comunicazione in una rela- 
zione biunivoca fra scienza e opinione pubblica (Bevilacqua, 2014). Questa 
relazione, a nostro avviso, rappresenta pertanto una sfida — fra le molte altre 
— che dovrà essere affrontata, nei prossimi anni, da tutti coloro che a vario 
titolo si occupano di educazione. 
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Аррепдісе 


Tab. 1- Numero di articoli per canale di informazioni 


Prog. Canale N. articoli 
1 Corriere della sera 57 
2 la Repubblica 31 
3 Il sole 24 ore 30 
4 Orizzonte Scuola 28 
> Il sussidiario 15 
6 Agenda Digitale 8 
7 Tuttoscuola 8 
8 il foglio 6 
9 L'huffington post 6 
10 Greenreport:economia ecologica e sviluppo sostenibile 5 
11 Internazionale 5 
12 La Tecnica della scuola 5 
13 ANSA 3 
14 Il giornale 3 
15 Il Messaggero 3 
16 Linkiesta 3 
17 Quotidiano.net 3 
18 Save the Children Italia 3 
19 AdviseOnly 2 
20 Bergamo News 2 
21 Blasting News 2 
22 Famiglia Cristiana 2 
23 Forumpa - Il forum della pubblica amministrazione 2 
24 gonews 2 
25 Il Dolomiti 2 
26 Il giorno 2 
27 Il Libraio 2 
28 Il Post 2 
29 iMille 2 
30 Innovation Post 2 
31 Investire oggi 2 
32 La stampa 2 
33 La voce.info 2 
34 Lanotiziagiornale.it 2 
(continua) 


149 


ISBN 9788891794789 


Tab. 1- Numero di articoli per canale di informazioni 


Prog. Canale N. articoli 
36 Professionisti Scuola Network 2 
37 Skuola.net 2 
38 Superando.it 2 
39 Varese News 2 
40 Vita 2 
41 Affari Italiani 1 
42 Ad Maiora 1 
43 AGI-Agenzia Giornalistica Italia 1 
44 AgoraVoxltalia 1 
45 Апсопа Тодау 1 
46 Arezzo notizie 1 
47 Assolombarda 1 
48 Avvenire 1 
49 Benevento.zon.it 1 
50 BooKBlister 1 
51 Brescia Oggi 1 
52 Business Insider Italia 1 
53 CasateOnline 1 
54 Cilento Notizie 1 
55 CN24TV 1 
56 Comune-info.net 1 
57 Corriere dell' Economia 1 
58 Democratica.com 1 
59 Donna Moderna 1 
60 Estense.com 1 
61 Fastweb 1 
62 Felicità pubblica 1 
63 Firenze Today 1 
64 Focus 1 
65 Formiche.net 1 
66 Futura News 1 
67 Gazzetta di reggio 1 
68 Humanitas Salute 1 
69 Il lametino 1 
70 Il Manifesto 1 
71 Il Mattino 1 
(continua) 
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Tab. 1- Numero di articoli per canale di informazioni 


Prog. Canale N. articoli 
72 Il Piccolo 1 
73 П весоіо ХІХ 1 
74 InchiostrOnline 1 
79 Informazione senza filtro (Blog) 1 
76 Informazione.tv 1 
77 Italia oggi 1 
78 Italia Oggi 1 
79 Italpress 1 
80 Key4biz 1 
81 L’Espresso 1 
82 L’intellettuale Dissidente 1 
83 La città di Salerno 1 
84 La Nazione 1 
85 Latinaoggi.eu 1 
86 Lecceprima.it 1 
87 Left Sinistra senza inganni 1 
88 Leggo.it 1 
89 Libero Pensiero 1 
90 LifeGate 1 
91 LivenetNewsNetwork 1 
92 Liveunict 1 
93 Lucca in Diretta 1 
94 Melandro News 1 
95 Meteo web 1 
96 Milano Finanza 1 
97 Next 1 
98 Noise From Amerika 1 
99 Notizieprovita.it 1 
100 NTR24 1 
101 OFCS.report 1 
102 Рапогата 1 
103 Radio Monte Carlo 1 
104 Radio Radicale 1 
105 Radio24 1 
106 Regione Piemonte 1 
107 Regione Veneto 1 
(continua) 
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Tab. 1- Numero di articoli per canale di informazioni 


Prog. Canale N. articoli 
108 Repubblica degli stagisti 1 
109 ResegoneOnline 1 
10 Sardiniapost 1 
111 Secondo Welfare 1 
112 Segugio.it 1 
113 sky tg24 1 
14 Società е rischio 1 
115 Stretto web 1 
16 Studenti.it 1 
117 TargatoCn.it 1 
118 Тетоте го Politico 1 
119 TGCOM 1 
120 Tiscali.it 1 
121 Tom's Hardware 1 
122 Товсапа24 1 
123 ТРІ 1 
124 Vicenza più 1 
125 Vivere Ancona 1 
126 Wired.it 1 
127 ZOOMSud 1 
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Tab. 2 – Categorie tematiche, valori assoluti e valori % sul totale delle fonti e sulle 
4 fonti giornalistiche selezionate 


Parola chiave È БЫ 
ЕЕ Ж “Жа 
Qo È 5 $^ 
S = 
Graduatorie 41 11,6 5,3% 19,3% 26,6% 14,3% 
Inclusione 35 9,0 10,5% 9,7% 3,3% 10,7% 
Educazione finanziaria 31 8,8 1,8% 6,5% 10,0% 
Benessere studenti 30 8,5 3,5% 6,5% 13,6% 7,1% 
Orientamento 23 6,5 8,8% 3,2% 10,0% 7,1% 
Differenze territoriali 18 5,1 3,5% 6,5% 3,6% 
Matematica 16 4,5 8,8% 3,3% 
Docenti e reclutamento personale 17 4,8 3,5% 3,2% 3,3% 17,9% 
Politiche scolastiche estere 16 4,5 8,8% 3,2% 3,3% 7,1% 
Digitale 15 4,2 4,7% 3,2% 3,3% 
Politiche scolastiche 14 4 3,5% 3,2% 10,0% 
Metodologia 12 3,4 5,3% 7,1% 
Сепеге 11 3,1 14,0% 9,7% 
Dispersione е ritardo scolastico 10 2,8 1,8% 9,7% 3,6% 
Italiano 10 2,8 3,5% 3,3% 
Paritarie 9 2,5 6,5% 3,6% 
Università 9 2,5 7,3% 3,3% 
Fake news 7 2 6,7% 3,6% 
Compiti a casa 7 2 1,8% 3,2% 10,7% 
Problem solving collaborativo 6 157. 3,2% 
Alternanza Scuola-lavoro 5 1,4 3,6% 
Altre discipline 4 1,1 1,8% 3,2% 
Diseguaglianze 4 1,1 1,8% 
Ambiente 3 0,8 
% 100,0 100,0 100,0 100,0 100,0 
Totale numerosità 353 57 30 31 28 
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Tab. 3 – Analisi delle corrispondenze sulle 4 fonti selezionate 


Lavoro degli insegnanti Processi vs. output 
nel breve periodo/nel lungo periodo 
Alternanza Scuola-lavoro 2,365 -1,189 
Altre discipline -0,406 -0,271 
Ambiente 
Benessere studenti 0,240 0,690 
Competenze 
Compiti a casa 1,256 -0,822 
Differenze territoriali 1,497 -0,092 
Digitale 0,148 -0,454 
Diseguaglianze -0,591 0,247 
Dispersione e ritardo scolastico -1,376 -1,061 
Docenti e reclutamento personale 0,536 -0,138 
Educazione finanziaria 1,051 -0,551 
Fake news -0,129 1,291 
Genere 0,671 1,330 
Graduatorie -0,847 -0,630 
Inclusione 0,129 0,892 
Italiano e lettura 
Matematica 0,027 -0,445 
Metodologia -1,076 -0,149 
Orientamento -1,176 -0,453 
Paritarie 0,120 -1,113 
Politiche scolastiche -0,448 0,179 
Politiche scolastiche estere 1,164 -0,050 
Problem solving collaborativo -0,452 1,027 
Università -0,196 -0,508 
Totale 338 100,0 
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6. Cicale о formiche? L'effetto della famiglia sui 
percorsi di socializzazione economica 
dei quindicenni 


di Carlo Di Chiacchio*, Sabrina Greco”, Emanuela E. Rinaldi** 


1. Gli adolescenti in Italia tra attrazione verso il consumo e cultu- 
ra del risparmio 


Nel discorso comune, gli adolescenti in Italia oggi sono spesso rappresen- 
tati come soggetti vulnerabili al richiamo dei consumi, dell’acquisto di im- 
pulso, di un eccesso di attaccamento ai beni materiali e di dedizione alla cura 
della propria immagine e del proprio aspetto o “look”. Difatti, l’adolescenza 
viene fortemente implicata in un processo di ridefinizione di sé all’interno 
del quale i beni di consumo e il denaro svolgono un ruolo estremamente im- 
portante, riconosciuto dai diversi gruppi di appartenenza — gruppo dei pari e 
famiglia in primis (Frontori, 1992). Anche il consumo televisivo e del web 
(si pensi ai canali YouTube) si riferisce spesso a programmi che enfatizzano 
il ruolo di marchi, abbigliamento, accessori, trucchi, acconciature e nuove 
tecnologie nel definire l’identità delle nuove star (dai cantanti agli attori, dai 
fashion blogger agli sportivi) che mutano velocemente come la moda. Per 
essere considerato “hipster”, “pariolino”, “ето”, l'adolescente ha bisogno 
di determinati oggetti o pratiche di consumo culturale (musica, riviste, film) 
che richiedono un investimento di denaro continuo. 

Inoltre, il credito e il pagamento a rate vengono pubblicizzati come una 
facile risposta per ottenere beni che altrimenti sarebbero fuori dalla portata 
finanziaria di alcune persone (si pensi al credito al consumo per l’acquisto 


* INVALSI - Istituto nazionale per la valutazione del sistema educativo di istruzione e di 
formazione, Roma. 


" Università degli Studi di Milano-Bicocca, Dipartimento di Scienze economico-azien- 
dali e Diritto per l'economia (DISEADE), Milano. 


Per contattare gli autori: carlo.dichiacchio@invalsi.it. 


163 


ISBN 9788891794789 


di smartphone e tablet). Tali messaggi mediatici contribuiscono a definire 
nei teenager, secondo alcuni studi, l’idea che il loro valore o il valore degli 
altri sia definito da ciò che possiedono o che possono acquistare (Dittmar et 
al., 2014; Beutler e Gudmonson, 2012). Peraltro, contrariamente a quanto 
avviene in altri Paesi, in Italia i soldi a disposizione degli adolescenti sono 
utilizzati soprattutto per spese di consumo per se stessi, più che per la fami- 
glia o per gli amici (Ruspini, 2008; Takahashi et al., 2016). 

Tuttavia, la cultura finanziaria italiana è caratterizzata anche da una spic- 
cata propensione al risparmio diffusa tra gli adulti (CENSIS 2016) e — se- 
condo le indagini svolte nell'ultimo ventennio — anche tra i minori (Sartoro 
e Ongari, 1999; Dosso e Rosci, 2000; Dei, 2006; Rinaldi, 2007; Rinaldi e 
Todesco, 2012). 

Ma come si forma la propensione al risparmio? Quali sono le caratteristi- 
che che distinguono le “cicale” (intese come le persone che hanno una forte 
propensione all'acquisto immediato) dalle “formiche” (quelle che hanno una 
piü forte propensione al risparmio)? 

Е utile, prima di rispondere a questa domanda, riprendere una distinzio- 
ne nota in letteratura, che е la distinzione tra socializzazione ed educazione 
finanziaria. 


2. Distinzione tra socializzazione ed educazione finanziaria 


Rifacendoci ad alcuni dei più diffusi manuali di sociologia dell'educa- 
zione (Cesareo, 1972; Besozzi, 2006), possiamo definire la socializzazione 
finanziaria come il processo che concorre – attivamente o passivamente, a 
livello formale e informale — all'inserimento dell'individuo nell'ambiente 
finanziario in cui vive e alla formazione della sua personalità avente rile- 
vanza diretta nella sfera finanziaria, ovvero nella sfera di raccolta, utilizzo e 
allocazione del denaro. 

Attraverso la socializzazione finanziaria, in pratica, gli individui inte- 
riorizzano — sin да" infanzia e nel corso di tutta la loro vita — informazio- 
ni, valori, motivazioni, orientamenti e competenze che permettono loro di 
interagire nel sistema finanziario della società in cui crescono e che sono 
funzionali a strutturare le capacità di svolgimento di futuri ruoli finanziari 
adulti. Grazie a questo processo le persone apprendono, per esempio, moda- 
lità diverse di gestione del denaro, competenze di calcolo, informazioni sui 
ртодо (le carte di credito, le polizze assicurative ecc.) e i processi finanziari 
(gli interessi, l'inflazione, la speculazione ecc.), maturano atteggiamenti dif- 
ferenti in relazione al rischio, al risparmio o al debito e sviluppano motiva- 
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zioni che le sostengono in alcune azioni che riguardano l’utilizzo del denaro 
— come l’accantonamento di denaro per il futuro (Rinaldi, 2007). 

Quanto all’educazione finanziaria, essa costituisce la parte esplicitata e 
formalizzata del processo di socializzazione e comprende gli interventi in- 
tenzionalmente volti a far acquisire all’individuo competenze, informazioni, 
orientamenti e valori inerenti alla finanza, di solito mediati da figure con 
autorità legittimata in materia (Rinaldi, 2015). Per esempio, un insegnante 
che realizzi in classe un percorso sulla storia dell’euro o un mercatino per 
mostrare le regole base dello scambio, tra cui anche gli sconti e il credito, о 
un genitore che spieghi al figlio le funzioni base di una banca o gli legga la 
fiaba della “cicala e della formica” per insegnargli il valore del risparmio. 

In Italia, in seguito alla crisi del 2008, gli interventi di educazione finan- 
ziaria sono aumentati notevolmente in termini numerici — come evidenziato 
da diverse rassegne (Argentin, 2010; Castrovilli, 2011; Farsagli e Traclò, 
2011; Rinaldi, 2015; Staderini, 2018; Nicolini, 2017; Rinaldi, 2019) — al fine 
di aumentare il livello di financial literacy della popolazione e in particolare 
quello delle nuove generazioni che risulta particolarmente basso, cosi come 
rilevato recentemente dall'indagine internazionale OCSE-PISA (OECD, 
2014; OECD, 2017; INVALSI, 2017). 


3. La famiglia e l'educazione al denaro: lo studio di Webley e Nyhus 


Gli studi sulla socializzazione al denaro condotti in Italia concordano nel- 
l'evidenziare come la famiglia (genitori, fratelli, nonni) costituisca per i mi- 
nori il principale agente di riferimento per l'apprendimento di informazioni, 
competenze e valori in ambito economico (Dei, 2006; Ruspini, 2008). 

Webley e Nyhus, in un articolo pubblicato sul Journal of Economic Psy- 
chology (2006), hanno preso in esame alcuni degli aspetti legati alla socia- 
lizzazione e all'educazione al denaro in famiglia, dimostrando come le pre- 
ferenze inter-temporali dei genitori possono influenzare significativamente 
quelle dei figli e come, in certi casi, l'approccio alle decisioni economiche 
(in particolare l'orientamento al futuro — o future orientation — una variabile 
positivamente collegata all'ammontare dei risparmi di un individuo) possa 
essere trasmesso da una generazione a quella successiva. Gli autori, utiliz- 
zando 1 dati nazionali del DNB Household Survey, hanno esaminato un cam- 
pione di 308 giovani olandesi trai 16 e 121 anni (164 maschi e 144 femmine) 
e irispettivi genitori (conviventi in un'unica unità domestica) studiando nu- 
merosi aspetti del loro comportamento economico: le abitudini e le opinioni 
in merito al risparmio, la capacità di posticipare le gratificazioni, l'eserci- 
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zio dell’auto-controllo, l'ammontare del capitale economico risparmiato nel 
conto corrente dei figli e in quello dei genitori, i tratti della personalità di ge- 
nitori e figli e il loro orientamento verso il futuro; infine agli intervistati sono 
state poste diverse domande esplicitamente inerenti alla loro socializzazione 
economica. Secondo l’ipotesi di partenza dello studio, i quattro meccanismi 
socializzativi più frequenti a livello familiare sono i seguenti: 

— l’orientamento (guidance), secondo cui i genitori che discutono le deci- 
sioni economiche della famiglia con 1 figli e danno loro delle spiegazioni 
formali che li incoraggino al risparmio trasmettono loro un orientamento 
spiccatamente rivolto al futuro e l’abilità di controllare le proprie spese 
e di risparmiare (nel nostro studio, chiameremo questo processo “educa- 
zione finanziaria"); 

— il modellamento — in riferimento all’approccio di Bandura e Mischel 
(1965) — secondo cui se i genitori hanno un certo comportamento (per 
esempio risparmiano parte dei loro guadagni — ma ciò può valere anche 
per il fumare, o il fare degli acquisti di impulso) essi fungono da modello 
per i loro figli, che apprenderanno per imitazione questo comportamento 
trasmesso, anche se non volutamente, dai genitori; 

— la formazione di abitudini: i bambini che imparano a usare un conto cor- 
rente o un libretto di risparmio e imparano a gestire in maniera attenta 
entrate economiche regolari avranno più probabilità di continuare questi 
comportamenti da adulti; 

— l’indipendenza: meccanismo per cui, secondo alcuni autori, i bambini a 
cui vengono assegnate responsabilità nelle decisioni finanziarie appren- 
dono più velocemente le competenze economiche necessarie a realizzare 
da soli una gestione efficace e oculata del denaro (e quindi aumentano la 
loro capacità di risparmio). 

Pur consapevoli che, oltre ai genitori, esistono altri agenti che influenzano 
la costruzione delle preferenze inter-temporali e degli orientamenti econo- 
mici (per esempio vi sono i programmi educativi scolastici, quelli televisivi, 
il gruppo dei pari, accanto a una certa predisposizione personale), Webley e 
Nyhus sostengono che alcuni comportamenti dei genitori, come il discutere 
di problemi finanziari con i bambini, il loro orientamento verso il futuro e 
la “precisione” come tratto della personalità del padre (e non della madre) 
hanno un impatto chiaro seppur debole sul comportamento dei figli. Risultati 
simili sono stati riscontrati anche tra i genitori in riferimento ai propri padri 
e madri. In sintesi, l’incoraggiamento ad aprire un conto corrente bancario 
prima della maggiore età, l’aver guadagnato del denaro e aver discusso di 
questioni finanziarie con 1 genitori durante l’adolescenza sarebbero variabili 
associate positivamente all’orientamento verso il futuro delle preferenze in- 
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ter-temporali dell’individuo, e a una sua spiccata preferenza per il risparmio 
piuttosto che per la spesa di tutto il denaro guadagnato. 

Dei meccanismi menzionati prima (orientamento, modellamento, forma- 
zione delle abitudini e indipendenza), i più rilevanti secondo lo studio so- 
pra citato sembrano essere i primi due: l’educazione finanziaria genitoriale 
(orientamento) e il modellamento. Nel presente contributo esamineremo solo 
il processo di educazione, intesa come discussione in famiglia di questioni 
finanziarie. 


4. Obiettivi 


Lo scopo del presente lavoro è quello di analizzare la relazione tra com- 
portamento atteso di spesa e competenza finanziaria in adolescenza e il ruolo 
giocato dalla famiglia sul fronte dell’educazione finanziaria (che comprende 
solo aspetti intenzionali, come il parlare in casa di denaro) e della socializ- 
zazione finanziaria (che comprende aspetti intenzionali e non intenzionali 
da parte degli agenti di socializzazione, come l’influenza dello status socio- 
economico e culturale). 

La nostra ipotesi è che comportamenti di spesa diversi implicano livelli 
diversi di competenza finanziaria. Sia i comportamenti di spesa che la com- 
petenza finanziaria possono, a loro volta, essere associati alla discussione di 
argomenti economici e finanziari in famiglia. 

Gli obiettivi del lavoro sono: 

1) confrontare gruppi di adolescenti che dichiarano di avere abitudini attese 
di spesa più o meno virtuose rispetto ai risultati di un test di competenza 
finanziaria; 

2) esaminare se la discussione di questioni economiche e finanziarie a casa 
spieghi le eventuali differenze tra i gruppi e abbia un effetto sulla compe- 
tenza finanziaria stessa; 

3) esaminare la relazione tra status socio-economico e culturale della fami- 
glia con i comportamenti attesi di spesa e con l’educazione finanziaria; 

4) esaminare l’effetto dello status socio-economico e culturale della fami- 
glia sulla competenza finanziaria tenendo conto degli aspetti dell’educa- 
zione finanziaria e dei comportamenti attesi di spesa. 
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5. Metodo 


Per testare le ipotesi descritte precedentemente sono stati utilizzati i dati 
nazionali dell’ indagine OCSE PISA 2015. 

Il campione di studenti che ha partecipato alla rilevazione di financial 
literacy è costituito da un sotto-campione! di studenti che ha risposto alle 
domande di lettura, matematica e scienze della rilevazione principale PISA. 
Degli oltre 11 mila studenti che hanno partecipato all’indagine, circa 3 mila 
hanno partecipato alla rilevazione di financial literacy (tabella 1). 


Tab. 1 — Distribuzione dei rispondenti per macro-area geografica, genere e tipologia 
di istruzione (dati non ponderati) 


Frequenza Percentuale Percentuale 
cumulativa 

Macro-area 
Centro 222 8,1 8,1 
Nord Est 1.209 44,4 52:5 
Nord Ovest 589 21,6 74,2 
Sud 535 19,6 93,8 
Sud Isole 169 6,2 100,0 
Totale 2.724 100,0 
Genere 
Maschio 1.378 50,6 50,6 
Femmina 1.346 49,4 100,0 
Totale 2.724 100,0 
Tipologia di istruzione 
Centro di formazione professionale 258 9,5 9,5 
Istituto professionale 272 10,0 19,5 
Istituto tecnico 920 33,8 53,2 
Liceo 1.250 45,9 99,1 
Scuola media 24 0,9 100,0 
Totale 2.724 100,0 


Nota: I valori sono stati arrotondati al primo decimale utile. 


! Il disegno di campionamento per la rilevazione di financial literacy prevedeva di sele- 
zionare circa 11 studenti per scuola, tra quelli ai quali erano state assegnate le prove di lettura, 
matematica o scienze della rilevazione principale. 
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5.1. Strumenti e misure 


In PISA, per financial literacy si intende «un insieme di conoscenze e co- 
gnizioni di concetti e rischi di carattere finanziario, unito alle abilità, alla mo- 
tivazione e alla fiducia nei propri mezzi che consentono di utilizzare quelle 
stesse conoscenze e cognizioni per prendere decisioni efficaci in molteplici 
e diversi contesti di carattere finanziario, per migliorare il benessere degli 
individui e della società e per consentire una partecipazione consapevole alla 
vita economica" (OECD, 2013). 

La scala PISA di financial literacy intende misurare il livello di cono- 
scenze e abilità finanziarie degli studenti di quindici anni, che sono al giorno 
d'oggi necessarie per il futuro passaggio dal mondo della scuola a quello 
dell'università, al mondo del lavoro o a quello dell'imprenditoria. Le do- 
mande fanno riferimento a situazioni di vita reale che coinvolgono questioni 
e decisioni finanziarie. 

Le prove sono state somministrate al computer. La durata della sommi- 
nistrazione é stata di due ore, con una pausa tra la prima e la seconda ora. 
Al termine della sessione, lo studente ha compilato una serie di questionari 
di sfondo che hanno permesso di raccogliere informazioni sulle opinioni e 
abitudini degli studenti e sulle caratteristiche socio-culturali ed economiche 
della famiglia (INVALSI, 2017; OECD, 2017). 


5.1.1. Il comportamento di spesa 


Il comportamento di spesa é stato rilevato con la seguente domanda: Se 
non hai abbastanza soldi per comprare qualcosa che desideri davvero (per 
es. un indumento, un 'attrezzatura sportiva), che cosa fai di solito?. 

Lo studente, per rispondere, doveva scegliere una tra le seguenti opzioni: 
1) La compro con i soldi che dovrebbero essere spesi per qualcos 'altro; 2) 
Provo a farmi prestare i soldi da un familiare; 3) Provo a farmi prestare i 
soldi da un amico; 4) Risparmio per comprarla; 5) Non la compro. 

Tra le alternative di risposta sono presenti due comportamenti opposti: 
1l comprare con 1 soldi destinati ad altro e il risparmiare. Concettualmente, 
1l primo comportamento indicherebbe una scarsa capacità di dilazionare la 
frustrazione di un acquisto immediato in condizioni di scarsità di risorse; 
viceversa, il secondo comportamento indicherebbe la capacità di tollerare 
l’impossibilità dell'acquisto immediato e di programmarlo più avanti nel 
tempo dopo aver messo da parte i soldi necessari. 
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Gli studenti che hanno dichiarato di comprare con i soldi destinati ad altro 
sono stati definiti Cicale, in quanto in essi prevale la componente edonistica, 
mentre gli studenti che hanno dichiarato di risparmiare sono stati definiti 
Formiche per il loro comportamento più prudente. 

Nel presente lavoro ci si è concentrati specificamente sul confronto tra 
queste due categorie mentre gli altri comportamenti che la domanda consen- 
te di analizzare — il prendere in prestito i soldi (da familiari/amici) e il non 
comprare — sono stati accorpati in un’unica categoria (Altro). La ragione 
di questa aggregazione risiede nel fatto che il non acquisto e la richiesta di 
prestito, sebbene comportamenti di spesa diversi da un punto di vista concet- 
tuale, non implicano l’uso di risorse proprie. 


5.1.2. La socializzazione e l’educazione finanziaria 


Come è stato detto precedentemente, la socializzazione finanziaria preve- 
de aspetti sia intenzionali che non riguardo la trasmissione di informazioni, 
valori e competenze da parte degli agenti di socializzazione. In questo conte- 
sto, il principale agente di socializzazione è la famiglia. 

Come indicatore di socializzazione finanziaria è stato scelto il livello 
socio-economico e culturale della famiglia. In PISA tale indicatore viene 
operazionalizzato attraverso l’indice ESCS (Economic, Social and Cultural 
Status). L'ESCS è un indice composito che tiene conto di tre dimensioni fon- 
damentali: 1) il livello culturale dei genitori attraverso il loro titolo di studio; 
2) il livello socio-economico attraverso il tipo di professione; 3) il benesse- 
re della famiglia attraverso i beni posseduti. L’indice viene calcolato utiliz- 
zando 1' Analisi delle componenti principali e assume media 0 e deviazione 
standard 1 attraverso tutti i Paesi OCSE. Pertanto, un valore in questo indice 
pari a 1 significa avere un livello socio-economico e culturale della famiglia 
superiore a una deviazione standard rispetto alla media OCSE. 

L’educazione finanziaria è stata rilevata attraverso una domanda che ha 
chiesto agli studenti di indicare la frequenza con cui parlano di soldi con ge- 
nitori o adulti e con gli amici: Con quale frequenza ti capita di parlare di 
questioni finanziarie (per es. discorsi riguardanti spese, risparmi, operazioni 
bancarie, investimenti) con le seguenti persone? Genitori o altri adulti; Amici. 

Nel rispondere lo studente poteva scegliere tra le seguenti modalità di 
risposta: Mai o molto raramente; Una о due volte al mese; Una о due volte a 
settimana; Quasi ogni giorno. 

Per il presente lavoro, ci si è concentrati soprattutto sui genitori/adulti ed è 
stata creata una tipologia attraverso un indicatore qualitativo Parla con i geni- 
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tori Si/No. La categoria “Si” è stata costruita aggregando le modalità “Una o 


due volte al mese”, “Una o due volte a settimana”, “Quasi ogni giorno”; la ca- 
tegoria “No” corrisponde alla modalità di risposta “Mai o molto raramente”. 


5.1.3. Analisi dei dati 


Le analisi dei dati sono state condotte con il software IDB Analyzer, 
scaricabile gratuitamente dal sito dell’ International Association for the Eva- 
luation of Educational Achievement (IEA)?. Questo software permette di 
analizzare dati provenienti da indagini su larga scala che hanno disegni di 
campionamento complessi come PISA. In tal modo è possibile calcolare nel- 
la maniera corretta la variabilità (errore standard) delle stime o di eventuali 
confronti. Di seguito una breve descrizioni delle analisi condotte e delle mo- 
dalità di trattamento delle variabili. Nel caso delle variabili categoriali, per 
testare la differenza tra proporzioni è stato utilizzato il test z. 

Nei modelli di regressione la variabile relativa al comportamento di spesa 
(a tre modalità) è stata trattata creando due variabili e utilizzando specifici 
codici di contrasto (contrast coding). Nel primo caso, è stata creata una va- 
riabile che ha testato la differenza tra cicale e formiche nella competenza 
finanziaria; nel secondo caso, è stata creata una variabile che ha testato la 
differenza nella competenza finanziaria tra il punteggio medio di cicale e 
formiche con quello delle altre forme di spesa (Cohen е? a/., 2003). Le diffe- 
renze di genere e le differenze rispetto all’educazione finanziaria sono state 
analizzate creando due variabili dummy: per quanto riguarda il genere, la 
categoria di riferimento è stata il gruppo dei maschi (femmine = 1; maschi = 
0); per quanto riguarda l’educazione finanziaria, la categoria di riferimento è 
stata il gruppo degli studenti che non parlano a casa di questioni finanziarie 
con genitori/adulti (parla Sì = 1; parla No = 0). Per la socializzazione finan- 
ziaria, sono stati utilizzati i punteggi nell’indice ESCS. 


6. Risultati 
6.1. Cicale e formiche a confronto 


In primo luogo, le formiche sono risultate la maggioranza (58,6%) rispet- 
to a chi dichiara altre modalità di spesa. Le cicale costituisco il 4,1%, mentre 


2 https://www.iea.nl/data. 
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chi si fa prestare i soldi о non compra sono, complessivamente, il 37,3% 
(tabella 2). 

Le formiche sono risultate equidistribuite tra maschi e femmine (58,2% 
nei maschi; 59,1% nelle femmine), mentre le cicale appartengono di più al 
mondo maschile (5,2% nei maschi; 2,9% nelle femmine; z = -2,11; p < 0,05) 
(tabella 3). 


Tab. 2 – Distribuzione percentuale del comportamento atteso di spesa (dati ponderati)* 


Risposte degli studenti % valida е.5. 
Cicale (La compro con soldi destinati ad altro) 4,1 0,6 
Formiche (Risparmio per comprarla) 58,6 1,4 
Altro 37,3 1,6 
Provo a farmi prestare i soldi da un familiare 22,2 1,3 
Provo a farmi prestare i soldi da un amico 2:5 0,4 
Non la compro 12,6 0,9 
Totale 100,0 


* Le risposte si riferiscono alla domanda sul comportamento di spesa nel caso in cui non si abbiano subito 
i soldi per comprare un determinato bene. 


Tab. 3 — Distribuzione percentuale del comportamento atteso di spesa per genere 
(dati ponderati) * 


Maschi Femmine 

Risposte degli studenti 26 valida е.5. % valida е.5. 
Cicale (La compro con soldi destinati ad altro) 5:2. 0,9 2,9 0,6 
Formiche (Risparmio рег comprarla) 58,2 2,0 59,1 1,9 
Altro 36,6 2,3 38,0 2,0 
Provo a farmi prestare i soldi da un familiare 19,7 1,8 24,8 1,9 
Provo a farmi prestare i soldi da un amico 3,3 0,7 1,7 0,6 
Non la compro 13,6 1:5 11,5 11 
Totale 100,0 100,0 


* Le risposte si riferiscono alla domanda sul comportamento di spesa nel caso in cui non si abbiano subito 
i soldi per comprare un determinato bene. 


L’educazione economica è risultata associata positivamente con il com- 
portamento di spesa, in quanto le formiche sono risultate più frequenti tra chi 
parla con 1 genitori di soldi (60,3% tra chi parla; 51,1% tra chi non parla; 7 = 
1,96; р < 0,05). Le cicale, invece, sono risultate più frequenti tra gli studenti 
che non parlano di soldi a casa (3,1% tra chi parla di soldi a casa; 8,8% tra 
chi non parla di soldi a casa; z = -2,63; p < 0,05) (tabella 4). 


172 


ISBN 9788891794789 


Tab. 4 — Distribuzione percentuale cicale e formiche tra coloro che parlano e coloro 
che non parlano con i genitori (dati ponderati) 


Parla con i genitori 


No Si 
Comportamento atteso di spesa 26 valida е.5. % уаПаа е.5. 
Cicale 8,8 2,1 3,1 0,5 
Formiche 2151 4,5 60,3 1,5 


L’aspetto della socializzazione finanziaria, invece, поп è risultato associa- 
to né al comportamento di spesa, né agli aspetti dell’ educazione finanziaria. 
Cicale e formiche, infatti, hanno mostrato un punteggio medio пе indice 
ESCS non statisticamente diverso (Media ESCS cicale = -0,01; Media ESCS 
formiche = -0,04; t — -0,26; p > 0,05), cosi come i ragazzi che parlano e quelli 
che non parlano di soldi a casa (Media ESCS non parla con i genitori di soldi 
= -0,14; Media ESCS parla con i genitori di soldi = -0,02; t= -1,72; p > 0,05) 
(tabella 5). 


Tab. 5 — Punteggio medio nell'indice ESCS per comportamento atteso di spesa e 
discutere di soldi con i genitori (dati ponderati) 


ESCS 

Media е.5. 
Comportamento atteso di spesa 
Cicale -0,01 0,11 
Formiche -0,04 0,03 
Parlare di soldi con i genitori 
No -0,14 0,06 
Sì -0,02 0,03 


6.2. Comportamento di spesa e competenza finanziaria 


Il primo obiettivo è stato quello di testare l’ipotesi principale che chi ha 
un comportamento di spesa virtuoso, come risparmiare per comprare una 
cosa che si desidera e dilazionare nel tempo la frustrazione di non poterlo 
ottenere subito, abbia una competenza finanziaria superiore a chi, invece, ha 
un comportamento meno virtuoso. 

Il modello iniziale di regressione ha messo in evidenza che le formiche 
superano le cicale nelle prove PISA di 31 punti (R2 = 0,8%). Tra le altre for- 
me di spesa e l’insieme di cicale e formiche non è emersa alcuna differenza 
significativa a livello medio (tabella 6). 
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Tab. 6 – Regressione multipla del comportamento atteso di spesa sul punteggio in 
financial literacy (dati ponderati) 


Variabili" b e.s t 

(Intercetta) 478,1 5,4 88,7 
Altro vs. cicale-formiche -2,8 8,7 -0,3 
Cicale vs. formiche -31,1 13,5 -2,3 


* Variabile dipendente: punteggio alle prove di financial literacy. 


Il secondo obiettivo è stato quello di utilizzare un modello “completo”, nel 
quale sono state inserite variabili di controllo come il genere, lo status socio- 
economico e culturale della famiglia e il parlare a casa di soldi, per testare 
se la differenza osservata nel modello iniziale fosse dovuta ad altre “cause”, 
mettendo così in luce una relazione spuria tra comportamento di spesa e com- 
petenza finanziaria. 

I risultati del modello “completo” hanno messo in evidenza che il contri- 
buto delle variabili di controllo spiegano le differenze di competenza finan- 
ziaria tra cicale e formiche. La differenza tra questi due gruppi, infatti, passa 
da 31 punti a circa 26 punti diventando non statisticamente significativa (t 
= 1,8; р > 0,05). Il modello spiega 1'8,6% della variabilità dei punteggi in 
financial literacy (tabella 7). 

Da solo, il contributo delle covariate spiega 1'8,2% dei punteggi in finan- 
cial literacy, pertanto, il contributo dei diversi comportamenti di spesa spiega 
lo 0,4% dei punteggi nella /iteracy finanziaria?. Gli aspetti di socializzazione 
finanziaria (ESCS) ed educazione finanziaria (parlare a casa di soldi) hanno 
mostrato un effetto diretto sulla competenza finanziaria. La socializzazione 
finanziaria di 19 punti; l’educazione finanziaria di 37 punti. 

Analizzando il ruolo delle singole covariate sulla financial literacy, ГЕ- 
SCS ha mostrato il contributo unico più importante (AR° = 4,1%), a seguire 
il parlare a casa (AR? = 2,6%). Rispetto alla relazione con le differenze tra 
cicale e formiche, i risultati dei modelli hanno messo in evidenza che questa 
differenza è dovuta soprattutto agli aspetti di educazione finanziaria, piutto- 
sto che di socializzazione. Infatti, quando non si tiene sotto controllo il par- 
lare a casa di soldi, le cicale tornano a mostrare un punteggio medio inferiore 
a quello delle formiche (b = -32,8; t = -2,4; р < 0,05). 


? Il contributo delle variabili relative al comportamento di spesa è stato calcolato sottraen- 
do dal valore Rsq del modello completo il valore Rsq del modello senza tali variabili. 

^ Il contributo unico dell'ESCS e del Parlare a casa con i genitori — rappresentato dal sim- 
bolo AR?-6 stato calcolato sottraendo dal valore Rsq del modello completo il valore Rsq del 
modello senza ESCS e del modello senza la variabile Parlare a casa con i genitori. 


174 


ISBN 9788891794789 


9009 1#0°0 100°0 bsy y 

90'0 670`0 2800 9800 bsy 

9% 88 СОР 1% SL 96 vv v8 TLE поупо8 uoo ewed 

8T- s°9 911- ET- 8'c 9%1- gT- ‘9 | LT C9 LOT ъшшшә4 

65 vc ooz 09 СЕ #61 6< СЕ ебі 5054 

v LEI 87€ 61- ТАЗ! 9°ST- sT 01 9°ST- оцопшој “а ALAO 

9°0- 18 6'v- 20 8% 8‘T- €'0- 6'8 80- очотшој-ојеото “SA одру 

Ж) 29 сар 16% 16 сср 9560 E8 819 TIS 6% vost (8129191) 

1 ‘sa q 1 "sa q 1 "sa q 1 "sa q 11901404 
моџигв 1 UOI 24D].IDd ојпагајиођ SOS опдамјиођ 2]D110A09 OJNGIAJUOD 0121 Ашо2 оцәрор/ 


(uv4apuod yop) татгириу (әрлә vjjs А ти 2u0185$24824 1р Парой! — / 7401 


175 


ІБВМ 9788891794789 


Un risultato non direttamente indagato, ma che merita di essere eviden- 
ziato, riguarda le differenze di genere. L’Italia è uno dei pochi Paesi che ha 
mostrato uno svantaggio delle ragazze sui ragazzi sia nell’indagine del 2012, 
sia nell’indagine del 2015. Guardando 1 risultati del modello completo, si 
può notare che le differenze tra maschi e femmine nella financial literacy non 
risultano statisticamente significative (b = -10,7; t = -1,7; p > 0,05). Lo stesso 
risultato si osserva negli altri modelli che tengono conto dell’ESCS. Quando 
invece si lascia covariare l'ESCS (modello Contributo ESCS), le differen- 
ze di genere risultano statisticamente significative a favore dei maschi (b = 
-13,6; t = -2,3; p < 0,05). 


7. Conclusioni 


I risultati del presente approfondimento hanno confermato, a livello bi- 
variato, la relazione tra comportamenti di spesa e competenze finanziarie 
degli adolescenti: comportamenti di spesa più “virtuosi” — in questo caso 
risparmiare per comprare un bene desiderato — sono associati a competenze 
finanziarie più elevate. Questo significa che la competenza finanziaria è il 
risultato di un insieme complesso di fattori che comprendono conoscenze 
ma anche abilità, atteggiamenti e comportamenti (OECD, 2017). L'analisi 
volta a indagare 1 fattori associati ai comportamenti di spesa ha evidenziato 
l'importanza del ruolo dell’educazione finanziaria, intesa in questo studio 
come il parlare di questioni finanziarie con genitori о altri adulti. L'edu- 
cazione finanziaria risulta importante nei termini in cui non solo esercita 
un effetto diretto sulla competenza finanziaria ma anche perché agisce sui 
comportamenti di spesa. Infatti, la differenza tra il gruppo delle “cicale” e 
quello delle “formiche” in financial literacy sembrerebbe spiegata da quei 
meccanismi responsabili della trasmissione diretta di comportamenti, abi- 
tudini, assetti valoriali. 

Proprio a questo proposito, sarebbe utile approfondire il tema delle di- 
scussioni in famiglia, rilevare gli argomenti di discussione, con quali sogget- 
ti specifici si parla e in quali termini, in modo da poter avere informazioni 
utili a comprendere meglio l’effetto dell’educazione finanziaria sulla compe- 
tenza finanziaria dei giovani. In PISA, 1 risultati sulla frequenza delle discus- 
sioni in famiglia, infatti, aprono a diverse possibili interpretazioni. A livello 
medio internazionale, si osserva una relazione non lineare tra la frequenza 
con cui si parla a casa di questioni finanziarie e la competenza finanziaria. 
Nello specifico, chi discute di questioni finanziarie con genitori/adulti quasi 
ogni giorno oppure mai o molto raramente ottiene un punteggio medio in 


176 


ISBN 9788891794789 


financial literacy inferiore a chi invece ne parla una о due volte a settimana о 
una о due volte al mese (OCED, 2017). In sostanza, chi ne parla tanto (quasi 
ogni giorno), al pari di chi ne parla molto poco se non per nulla, mostra una 
competenza inferiore di chi ne parla con una frequenza settimanale o mensi- 
le. Da questa relazione non è possibile trarre delle indicazioni causali. Il fatto 
che parlare di questioni finanziarie con una certa frequenza con 1 genitori è 
associato a punteggi più alti in financial literacy potrebbe indicare che gli 
studenti acquisiscono abilità finanziarie proprio discutendone con 1 genitori, 
oppure che gli studenti più competenti fanno domande e chiedono consiglio 
alla famiglia, a differenza degli studenti meno competenti che sembrerebbe- 
ro non confrontarsi mai su questi argomenti. 

Allo stesso tempo, anche il discutere di questioni finanziarie quasi ogni 
giorno è associato a una performance più bassa e questo può essere collegato 
a diversi motivi: per esempio perché gli studenti con scarse competenze finan- 
ziarie si sentono meno sicuri e cercano consigli più spesso, oppure perché le 
discussioni settimanali o mensili (associate a una competenza più elevata) po- 
trebbero essere di natura diversa dalle discussioni quotidiane (OECD, 2017). 
Secondo alcuni studi, parlare tutti i giorni di denaro a volte può essere legato 
a motivazioni conflittuali — “spendi troppo”, “non voglio che vai a lavorare 
come cameriera” (Rinaldi e Gerroni, 2008) – che potrebbero influire negati- 
vamente sul livello di competenza finanziaria degli adolescenti. Le diverse 
interpretazioni che possono derivare da questi risultati mettono in evidenza 
la complessità del fenomeno e la necessità di studiarlo anche da un punto di 
vista qualitativo, guardando ai contenuti dell’educazione finanziaria. 

Se l’educazione finanziaria riveste un ruolo così importante nella forma- 
zione di cittadini in grado di partecipare in maniera consapevole alla vita 
economica, allora proprio la famiglia dovrebbe essere uno dei soggetti a cui 
rivolgere programmi di educazione finanziaria, proprio per le ricadute posi- 
tive che si potrebbero avere nel presente ma soprattutto nel futuro incidendo 
sui giovani di oggi, adulti di domani. Questa considerazione prescinde dal 
livello socio-economico e culturale delle famiglie, in quanto i risultati hanno 
evidenziato che non esiste una relazione tra status socio-economico e cultu- 
rale (socializzazione finanziaria) e il parlare di questioni finanziarie a casa. 
A sua volta, anche la socializzazione finanziaria esercita un’influenza diretta 
sulla competenza finanziaria mentre non risulta contribuire alla formazione 
dei comportamenti di spesa analizzati. 

Un dato che necessiterebbe di ulteriori approfondimenti è anche quello 
relativo alle differenze di genere. Occorre ricordare che in PISA 2015 l’Italia 
è l’unico Paese in cui le ragazze conseguono risultati peggiori dei ragaz- 
zi nella literacy finanziaria. Nel nostro studio, prendendo in considerazione 
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sia la socializzazione che l’educazione finanziaria (oltre ai comportamenti 
di spesa) non si rilevano differenze di genere. Al contrario, quando поп si 
tiene conto del livello socio-economico e culturale delle famiglie, le ragaz- 
ze conseguono una performance inferiore a quella dei ragazzi, così come 
si rilevano differenze rispetto ai comportamenti di spesa. Questo risultato 
potrebbe essere letto come una minore possibilità per le ragazze di accede- 
re alle risorse necessarie allo sviluppo di competenze finanziarie (OECD, 
2017), svantaggio che sarebbe utile tenere in considerazione nello sviluppo 
di interventi di educazione finanziaria, insieme ad altri fattori motivazionali 
individuati da studi recenti (Longobardi et a/., 2018). 

Infine, sarebbe utile in futuro approfondire le differenze con altri tipi di 
comportamenti attesi (chiedere un prestito a familiari о amici, non comprare) 
dichiarati dagli adolescenti intervistati, come profili “tipici” sui quali inter- 
venire in maniera specifica, eventualmente combinando anche approcci di 
peer-education che, secondo alcune ricerche (Erskine et al., 2005; Каши, 
2018), sembrano essere particolarmente promettenti per migliorare le com- 
petenze finanziarie (anche se non 1 comportamenti) degli studenti. 
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7. L'effetto dell’esperienza in ambito finanziario 
sulla financial literacy degli studenti 
dei Paesi OECD 


di Sergio Longobardi', Margherita Maria Pagliuca', Andrea Regoli* 


1. Introduzione 


Nel corso degli ultimi decenni, il numero delle alternative di investimen- 
to e degli strumenti finanziari disponibili è diventato sempre più ampio e 
articolato, spingendo gli individui, e le loro famiglie, a fronteggiare scelte 
finanziarie sempre più numerose e complesse, come il risparmio per la pen- 
sione, la spesa per l’istruzione e la salute o l’acquisto di una casa. Numerose 
analisi, svolte a livello nazionale e internazionale, mostrano che a questa 
elevata pervasività delle scelte finanziarie nella vita delle famiglie non corri- 
sponde un adeguato livello di competenze in questo ambito ed, al contrario, 
l’analfabetismo finanziario si configura come un fenomeno piuttosto diffuso 
(Lusardi et al., 2010). 

Numerosi studi hanno indagato il rapporto tra alfabetizzazione finanzia- 
ria (financial literacy) e benessere economico e finanziario delle famiglie 
(Campbel, 2006; Behrman е? al., 2012; Lusardi and Tufano, 2015) ed hanno 
sottolineato che le persone con un basso livello di competenze finanziarie 
commettono maggiori errori di investimento, non sono in grado di prendere 
decisioni in merito alla pianificazione previdenziale (Cole et al., 2011; Lusar- 
di and Mitchell, 2008), partecipano in maniera minore al mercato dei capitali 
(Van Rooij et al., 2011), hanno una diversificazione del portafoglio minore 
(Guiso e Jappelli, 2008), ma soprattutto hanno una propensione al risparmio 
inferiore rispetto agli individui più alfabetizzati finanziariamente, accumulan- 
do così minore ricchezza rispetto a quest’ultimi (Behrman et al., 2012). 
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Inoltre, molte analisi empiriche hanno messo in luce i principali fatto- 
ri che condizionano maggiormente l’alfabetizzazione finanziaria (Lusardi e 
Tufano, 2015; Lusardi e Mitchell, 2011). Innanzitutto la disponibilità di un’e- 
levata ricchezza o reddito è un segnale di migliori conoscenze e competenze 
finanziarie (Shanks, 2007). Negli studi condotti finora, i maschi mostrano 
migliori livelli di competenze finanziarie rispetto alle donne (Longobardi 
et al., 2018), le quali, inoltre, sono meno informate e interessate a questioni 
economico/finanziarie e si sentono meno sicure (Chen e Volpe, 2002). Altri 
studi hanno evidenziato come le persone con un basso livello di istruzione, 
1 giovani, ma soprattutto gli anziani sono più esposti a fare scelte di investi- 
mento sbagliate. 

Anche se la maggior parte delle decisioni finanziarie sono prese dagli adul- 
ti, l'Organizzazione per la cooperazione economica e lo sviluppo (OECD) 
raccomanda che l’educazione finanziaria inizi già nelle prime fasi della vita, 
al fine di fornire agli studenti le competenze necessarie per fare scelte finan- 
ziarie consapevoli in età adulta (OECD, 2005), quando si occuperanno di pro- 
dotti e servizi finanziari sempre più complessi. 

In questa ottica, il lavoro si propone di indagare, in un quadro compara- 
tivo internazionale, se le esperienze in ambito finanziario (OECD, 2017a) 
possono essere associate a una migliore alfabetizzazione finanziaria in età 
adolescenziale. Alcuni studi (Hilgert e? a/., 2003; Mandell, 2008; Dvorak 
and Hanley, 2010; Frijns et al., 2014), condotti a livello internazionale, han- 
no già indagato il legame tra questi due fenomeni, arrivando alla conclusio- 
ne che tra alfabetizzazione ed esperienza finanziaria sussiste una relazione 
positiva. 

Nel lavoro saranno presi in esame i dati forniti dall'ultima edizione del- 
l'indagine PISA che ha misurato il livello di competenze finanziarie in un 
sotto-campione rappresentativo di studenti quindicenni di 15 Paesi! (Austra- 
lia, Belgio, Canada, Cile, Italia, Paesi Bassi, Polonia, Repubblica Slovacca, 
Spagna, Stati Uniti, Brasile, Cina, Lituania, Perù, Federazione Russa). Per 
valutare la diffusione delle esperienze in ambito finanziario 6 stato costruito 
un indicatore ad hoc prendendo in considerazione tre aspetti caratterizzanti 
1l comportamento di un quindicenne in tema di questioni finanziarie: la fre- 
quenza con cui si discutono tematiche di natura finanziaria in ambito fami- 
liare, l'atteggiamento nei confronti del risparmio e il possesso di un conto 
corrente bancario. 


! [n particolare, lo studio verrà condotto sul gruppo dei 9 Paesi OECD che partecipano 
alla rilevazione delle competenze finanziarie. Dalle analisi è stata esclusa l’ Australia poiché i 
micro dati non sono disponibili. 
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La relazione tra le esperienze in ambito finanziario e la performance in fi- 
nancial literacy viene analizzata attraverso la stima di modelli di tipo OLS e 
di regressione quantile, controllando per caratteristiche dello studente, della 
sua famiglia e della scuola che frequenta. 

Il resto del paper è organizzato come segue. La prossima sezione illustra 
1 dati e le variabili utilizzati nell’analisi. La metodologia è descritta nella 
sezione 3. La sezione 4 riporta i risultati empirici del modello. La sezione 5 
presenta le conclusioni. 


2. Dati e variabili 
2.1. I dati PISA per lo studio delle competenze finanziarie 


L’indagine PISA (Programme for International Students Assessment) è 
una rilevazione con cadenza triennale condotta dall’OECD con l’obiettivo di 
valutare le conoscenze e le competenze degli studenti quindicenni di più di 
80 Paesi in lettura, matematica e scienze. Nel corso degli anni l'indagine ha 
assunto un’importanza crescente, tanto da allargare gli ambiti valutati inclu- 
dendo anche una rilevazione dell’alfabetizzazione finanziaria. In particolar 
modo, l'opzione sulla financial literacy, nel 2015 giunta alla sua seconda 
edizione, valuta il livello delle competenze finanziarie definite come: “un 
insieme di conoscenze e cognizioni di concetti e rischi di carattere finan- 
ziario, unito alle abilità, alla motivazione e alla fiducia nei propri mezzi che 
consentono di utilizzare quelle stesse conoscenze e cognizioni per prendere 
decisioni efficaci in molteplici e diversi contesti di carattere finanziario, per 
migliorare il benessere degli individui e della società e per consentire una 
partecipazione consapevole alla vita economica" (OECD, 2012). Al pari de- 
gli altri ambiti valutati da PISA anche in questa rilevazione si utilizza un 
concetto empirico di competenza intesa come capacità di applicare le cono- 
scenze nel mondo reale, cercando, quindi, di misurare come i quindicenni 
sappiano gestire le competenze e le conoscenze in ambito finanziario per 
partecipare alla vita economica e pianificare il loro futuro. Tale definizione 
racchiude, dunque, un costrutto poliedrico e multidimensionale, che si com- 
pone di elementi cognitivi e non. 

Circa 53.000 studenti dei 15 Paesi che hanno aderito alla rilevazione op- 
zionale della financial literacy sono stati selezionati casualmente tra il più 
ampio sample di studenti che hanno partecipato alla rilevazione di scienze, 
lettura e matematica. 
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Accanto alla rilevazione del livello di competenze finanziarie?, PISA rac- 
coglie numerose informazioni sulle caratteristiche di contesto dello studente 
e della propria famiglia nonché le sue attitudini e motivazioni che possono 
esser utili per interpretare 1 risultati conseguiti. 

Inoltre, viene posta una batteria di domande mirate specificatamente a 
rilevare l’esperienza degli studenti rispetto al denaro, come la discussione 
di argomenti di natura finanziaria con i genitori, il possesso di prodotti fi- 
nanziari di base, le principali fonti a cui gli studenti accedono per ottenere 
denaro, il comportamento abituale di spesa, l'atteggiamento nei confronti del 
risparmio. 


2.2. Un indice dicotomico per valutare l'esperienza in ambito finan- 
ziario 


Il concetto di esperienza finanziaria 6 stato focalizzato su alcuni aspetti in 
grado di sensibilizzare gli studenti sugli argomenti che riguardano il denaro 
e responsabilizzarli circa la sua gestione. Nel dettaglio sono state considera- 
te come esperienze finanziarie: a) il discutere di questioni finanziarie con 1 
genitori; b) il possesso di un conto corrente; c) la propensione al risparmio. 
Le risposte fornite a queste tre domande sono state utilizzate per costruire 
tre variabili dummy dalle quali é stato infine derivato un indice dicotomico 
di esperienza finanziaria (finexp). Per quanto riguarda 1 canali di accesso 
all'informazione finanziaria, agli studenti viene chiesto con quale frequenza 
parlano di questioni finanziarie con 1 genitori: la variabile dicotomica che е 
stata costruita distingue chi ne parla almeno una volta al mese da chi non ne 
parla mai o molto raramente. Il possesso di un conto corrente е rilevato diret- 
tamente attraverso una variabile dummy. Relativamente alla predisposizione 
al risparmio, si sono contrapposti gli studenti che dichiarano di risparmiare a 
prescindere dall'esigenza di comprare qualcosa (dummy - 1) da coloro che 
non risparmiano oppure lo fanno solo quando devono effettuare un acquisto 
(dummy - 0). 


? [n PISA 2015 la performance finanziaria viene stimata sulla base di 10 plausible values 
costruiti dall OECD per ogni singolo studente. I plausible values sono stime del livello di abi- 
lità del singolo studente: anziché stimare direttamente il suo livello di abilità, si stima un range 
di suoi possibili valori, ognuno dei quali con un associato livello di verosimiglianza (posterior 
distribution; Wu, 2004). Pertanto i plausible values forniscono non solo informazioni sull'abi- 
lità stimata di uno studente, ma anche sull’incertezza associata a questa stima, la quale, a sua 
volta, discende dal fatto che gli studenti rispondono a domande diverse. 
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L’indice sintetico, che scaturisce da queste informazioni, è un indicatore 
dicotomico che assume valore 1 quando tutte le tre variabili dummy sono 
uguali a 1 mentre sarà pari a 0 quando almeno una delle tre dummy risulti 
nulla. In definitiva, si assume che uno studente accumuli esperienze finanzia- 
rie se parla di questioni di denaro con i genitori almeno una volta al mese, se 
possiede un conto corrente e se risparmia anche quando non ha in program- 
ma un acquisto. 

La tabella 1 presenta le medie (percentuali) dell’indicatore finale di espe- 
rienza finanziaria (finexp) e delle tre variabili da cui è stato derivato per i 9 
Paesi OECD analizzati, insieme alle rispettive numerosità campionarie uti- 
lizzate nello studio’. 

In Polonia, Cile, Italia e Repubblica Slovacca si osservano le percentuali 
più basse — inferiori al 25% — di studenti con esperienze finanzarie. In questi 
Paesi la percentuale di quindicenni in possesso del conto bancario è molto 
più bassa rispetto agli altri Paesi (circa il 28% in Cile e Polonia contro oltre 
11 95% in Olanda). Questa forte eterogeneità tra Paesi può essere dovuta al 
fatto che in alcuni Paesi, a differenza di altri, per i quindicenni è richiesto 1 
consenso dei genitori per aprire e gestire un conto corrente (OECD, 2017a). 


Tab. 1- Valori medi dell’indicatore di esperienza finanziaria (finexp) e delle sue 
determinanti 


Paese Finexp Parlare con Possedere un Risparmiare Numerosità 
(?6) genitori (%) conto bancario (?6) (?6) campionaria 
Belgio (BEL) 46,80 84,77 74,74 68,08 986 
Cananda (CAN) 50,32 87,30 78,10 69,22 2.884 
Cile (CHL) 17,41 82,73 27,84 67,67 1.401 
Spagna (ESP) 34,28 78,78 53,29 73,13 1.424 
Italia (ITA) 20,16 82,76 35,81 64,58 2.170 
Olanda (NLD) 61,31 87,21 95,26 71,25 1.250 
Polonia (POL) 16,60 84,72 27,90 66,13 1.596 
Slovacchia (SVK) 24,08 80,09 42,24 64,88 1.258 
Stati Uniti (USA) 37,89 88,04 52,95 68,94 1.210 


Fonte: elaborazione degli autori su dati PISA 2015 


I grafici che mettono in relazione la media di Paese dell’indice di esperien- 
za finanziaria ricavato dai dati PISA con alcuni indicatori di inclusione finan- 


3 Tutte le analisi sono state effettuate sul sotto-campione di unità che non presentano 
valori mancanti per alcuna covariata inclusa nella stima dei modelli. 
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папа“ riferiti alla popolazione adulta (età di 15 anni е più) evidenziano che i 
Paesi nei quali i quindicenni hanno maggiore esperienza con il denaro sono 
anche quelli dove l’intera popolazione utilizza maggiormente gli strumenti 
finanziari considerati (come il conto corrente o la carta di debito, figura 1). 

Malgrado questi risultati siano puramente descrittivi e riferiti a un nu- 
mero limitato di Paesi, confermano che l’indice utilizzato per sintetizzare 
l’esperienza finanziaria degli studenti quindicenni presenta una forte corre- 
lazione con il grado di inclusione finanziaria degli adulti. 
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Fonte: elaborazione su dati OECD PISA 2015 e Global Findex, 2014 


Fig. 1 — Esperienza finanziaria dei quindicenni scolarizzati e inclusione finanziaria 
della popolazione adulta 


Un'ulteriore analisi esplorativa, tra 11 livello di esperienza e quello di 
competenza finanziaria, permette di osservare che l'esperienza finanziaria 
sembra avere una relazione positiva con la performance finanziaria (figura 
2). Infatti i Paesi che presentano una più elevata proporzione di adolescenti 


^ Gli indicatori relativi all’inclusione finanziaria della popolazione adulta sono tratti dalla 
versione 2014 del database Global Financial Inclusion (Global Findex) della World Bank. 
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in possesso di esperienze finanziarie (Belgio, Canada e Olanda) sono anche 
1 Paesi top performers in ambito finanziario. Tuttavia, tra i Paesi con la più 
bassa quota di studenti con esperienze finanziarie si evidenzia una certa ete- 
rogeneità nei punteggi medi: Polonia e Italia mostrano un punteggio medio 
in linea con quello medio calcolato su tutti i 9 Paesi OECD mentre Cile e 
Slovacchia registrano un punteggio medio molto inferiore a quello medio. 


450 500 550 


Punteggio financial literacy (PISA2015) 


400 


2 3 4 5 
Indice di esperienza finanziaria 


Fonte: elaborazione su dati PISA 2015 


Fig. 2 – Competenze ed esperienze in ambito finanziario, valori medi per Paese 


2.3. Le determinanti delle competenze finanziarie 


Le analisi empiriche sono state effettuate utilizzando le numerose infor- 
mazioni che l’indagine PISA rileva sui diversi aspetti del contesto personale, 
familiare e scolastico degli studenti. La scelta delle variabili si basa sul pre- 
supposto che, nella maggior parte dei Paesi OECD’, l'educazione finanziaria 


5 L'OECD (2017a) ha evidenziato che il gruppo di Paesi che prevede l’educazione finan- 
ziaria all’interno dei curricula istituzionali risulta limitato a Lituania, Olanda, Perù, Repub- 
blica Slovacca. 
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non è integrata tra le materie oggetto di studio nei curricula scolastici nazio- 
nali (OECD, 2017а). Di conseguenza, gli studenti sono obbligati ad acqui- 
sire queste competenze utilizzando fonti esterne alla scuola che, prevalente- 
mente, sono da ricercare nell’ambiente familiare e nelle loro caratteristiche 
motivazionali e attitudinali (Noon e Fogarty, 2007). 

In aggiunta, sin dai primi lavori di Coleman et al. (1966) è stato mes- 
so in luce il legame significativo tra le competenze degli studenti e il loro 
background socio-economico. Questo legame è stato anche confermato da 
diverse studi che, a livello internazionale, hanno analizzato le determinanti 
delle competenze finanziarie nell’ambito dell’indagine PISA (OECD, 2014; 
Longobardi et al., 2017). 

In questa ottica, per ognuno dei Paesi OECD partecipanti alla rilevazione, 
si cercherà di valutare l’effetto dell’esperienza in ambito finanziario model- 
lando il processo di produzione delle competenze finanziare mediante un 
set di covariate prevalentemente relative a caratteristiche socio-economiche 
e motivazionali degli studenti. In aggiunta a questi fattori, si è scelto di in- 
cludere il grado di competenza in matematica, in quanto diversi studi hanno 
messo in luce un ruolo significativo delle abilità matematiche sul livello di 
competenza finanziaria (OECD, 2013). In tabella 2 vengono riportate le va- 
riabili utilizzate nelle analisi, includendo anche la loro sintetica descrizione. 

In dettaglio, oltre all’indicatore di esperienza finanziaria (finexp) già de- 
scritto in precedenza, vengono considerate le seguenti variabili: il punteg- 
gio in financial literacy (finscore) e in matematica (matscore), lo stato di 
immigrato (immig_1_2), il genere dello studente (female), la lingua parlata 
a casa (langfor), un indice che esprime il livello di motivazione dello stu- 
dente” (motivat), se lo studente è ripetente o meno (repeat), un elevato li- 
vello di istruzione, secondo la classificazione ISCED, raggiunto da almeno 
uno dei genitori (high hisc), il possesso di un esiguo numero di libri a casa 
(few book), la proporzione di studenti ripetenti nella scuola (avg repeat), un 
indice che esprime il grado di ricchezza della famiglia (wealth), lo svolgi- 


6 L'indice MOTIVAT viene costruito dall' OECD sintetizzando, mediante Пет Response 
Theory (IRT), le risposte fornite dagli studenti rispetto ad alcuni quesiti relativi alla motiva- 
zione nel raggiungimento di alcuni obiettivi scolastici e personali (OECD 20175). In partico- 
lare, vengono considerati le seguenti domande (variabili): 1) Voglio prendere voti alti in tutte 
o quasi tutte le materie (ST119Q01NA); 2) Quando mi diplomerò, voglio poter scegliere tra 
le migliori opportunità che ci sono(ST119Q02NA); 3) Qualunque cosa faccia, voglio essere 
il/la migliore (ST119Q03NA); 4) Penso di essere una persona ambiziosa (ST119Q04NA); 5) 
Voglio essere fra i migliori studenti della mia classe (ST119Q05NA). 

7 L'indice WEALTH viene costruito dal’ OECD (OECD, 2017b) sintetizzando, me- 
diante Лет Response Theory (IRT), le risposte degli studenti alla presenza in casa di: 1) 
cameretta personale (57011002ТА); 2) collegamento a Internet (57011006ТА); 3) televi- 
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mento di un’occupazione nel settore finanziario da parte di almeno uno dei 
genitori (ргоћпраг)“. 

In appendice (tabella A1) sono riportate le principali statistiche descritti- 
ve di tutte le variabili utilizzate. 


Tab. 2 — Variabili impiegate nelle analisi empiriche 


Variabile Variabili in PISA database Descrizione 


finscore PV1FLIT-PV10FLIT Punteggio PISA relativo alla performance degli 
studenti in financial literacy (10 plausible values) 


finexp FQ002Q01TA, FQ005Q01TA, Indice relativo all'esperienza finanziaria (0 = 


FQ006Q01TA “по”; 1 = si") 

matscore PVIMATH-PVIOMATH Punteggio PISA relativo alla performance degli 
studenti in matematica (10 p/ausible values) 

immig 1 2IMMIG Status di immigrato -prima o seconda generazio- 
ne- (0 = “nativo”; 1 = “immigrato’’) 

female ST004D01T Genere (0 = “maschio”; 1 = “femmina’’) 

langfor ST022Q01TA Lingua parlata a casa differente da quella nazio- 
nale (0 = “no”; 1 = *si") 

motivat MOTIVAT Indice sintetico del grado di motivazione dello 
studente 

repeat REPEAT Studente ripetente (0 = “по”; 1 = "si") 

high hise HISCED Livello di educazione più alto tra la madre e il 
padre pari a ISCED 5 o 6 (0 = “no”; 1 = "si") 

few_book ST013Q01TA Numero di libri a casa compreso tra 0 e 25 (0 = 
“no”; 1 = *si") 

avg repeat REPEAT Proporzione di studenti ripetenti nella scuola 

wealth WEALTH Indice sintetico di ricchezza della famiglia 


profinpar ОСОР FAT, OCOD MOTH Professione della madre o del padre relativa al 
settore finanziario (0 = “no”; 1 = *si") 


Fonte: elaborazione degli autori su dati PISA 2015 


sore (ST012Q01TA); 4) automobile (ST012Q02TA); 5) bagno (STO12Q03TA); 6) telefo- 
no cellulare con accesso a Internet (57012005ТА); 7) computer (ST012Q06TA); 8) tablet 
(ST012Q07TA); 9) lettore di e-book (ST012Q08TA); tre beni specifici (country item) per 
ogni Paese (STO11D17TA; ST011D18TA; STO11D19TA). 

* La variabile é stata elaborata utilizzando la classificazione ISCO-08 (International 
Standard Classification of Occupations). 
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3. Metodologia 


Lo scopo del paper è di analizzare se e in quale misura l’esperienza degli 
studenti in ambito finanziario influisce sulla loro performance in financial 
literacy. Una stima grezza di questo effetto può essere ottenuta mediante una 
funzione di produzione dell’educazione (EPF): 


yi = Bo + В.Е + €; (1) 


dove у, rappresenta la performance іп ambito finanziario dello studente i-esi- 
mo; F, è l'indicatore dicotomico dell’esperienza finanziaria (finexp), mentre 
€, è la componente di errore stocastico. Il coefficiente P, calcolato in base а 
un approccio di regressione classico di tipo OLS consente di fare inferenza 
sul differenziale medio delle competenze finanziarie tra gli studenti con e 
senza esperienze finanziarie ma non permette di controllare per altri fattori 
che influenzano le prestazioni degli studenti. In questa luce, si adotta una 
specificazione “più ampia” della funzione EPF al fine di ottenere una stima 
rettificata dell’ effetto dell’esperienza finanziaria, controllando per un vettore 
x, di caratteristiche studente: 


m 


ж = Bo + В.Е; + У Вехи t & 
к=> (2) 


Per approfondire i risultati forniti dai modelli OLS, si cerca di апа- 
lizzare la “dinamica” di questo effetto rispetto ai diversi percentili della 
distribuzione del punteggio di alfabetizzazione finanziaria. Nello specifi- 
co, si stimano regressioni quantili non condizionate (UQR, Unconditional 
Quantile Regressions; Firpo et al., 2009) attraverso regressioni RIF (Re- 
centered Influence Function) per valutare l’effetto dell’esperienza finanzia- 
ria sui diversi quantili della distribuzione marginale del punteggio in finan- 
cial literacy. In questo modo è possibile verificare se l’effetto è omogeneo 
lungo tutto il campo di variazione del punteggio oppure si differenzia per 
studenti con punteggio medio-basso (che si trovano nella prima metà della 
distribuzione) e per studenti con punteggio medio-alto (nella seconda metà 
della distribuzione). 
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4. Risultati 


4.1. L’effetto dell’esperienza in ambito finanziario analizzato attra- 
verso modelli di regressione 


L’effetto delle esperienze finanziarie sul punteggio in financial literacy è 
valutato attraverso la stima di modelli di regressione OLS (Ordinary Least 
Squares) e di regressione quantile UQR (Unconditional Quantile Regres- 
sion). L'analisi in questione è stata replicata separatamente per ogni Paese 
OECD. Gli errori standard dei coefficienti’ tengono conto della correlazione 
delle variabili entro le scuole che può influenzare il livello di competenza in 
financial literacy degli studenti. Confrontando i due gruppi di studenti (con 
e senza esperienze finanziarie, tabella 3), dalla stima del modello OLSI ri- 
sulta che il gap medio osservato è significativo in tutti i Paesi presi in esame 
ad eccezione della Slovacchia. Il gap è positivo, a indicare che in media il 
rendimento alle prove di financial literacy è superiore per gli studenti che 
parlano di questioni finanziarie con i genitori, posseggono il conto corrente 
e adottano comportamenti di risparmio. Tra i diversi Paesi, il differenziale 
osservato medio va da 26 punti in Cile a 63 punti in Olanda. 

Introducendo le variabili di controllo, due diverse specificazioni sono 
messe a confronto (indicate come OLS2 e OLS3 in tabella 3), che differi- 
scono per la presenza o meno della competenza in matematica tra le cova- 
riate. In questo modo, si vuole verificare se, e in che misura, l’effetto delle 
esperienze finanziarie sul punteggio medio in financial literacy si modifica 
tenendo conto delle caratteristiche individuali e anche delle abilità in ma- 
tematica. 


9 Le analisi sono state effettuate attraverso la routine REPEST (Avvisati e Keslair, 2014) 
del software Stata in modo da pervenire a stime corrette degli errori standard. 
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In tutti i Paesi, tranne il Cile, il gap nel punteggio in financial literacy а 
favore degli studenti che hanno riportato esperienze finanziarie rimane signi- 
ficativo anche a parità di caratteristiche individuali e della scuola (modelli 
01:52 in tabella 3), pur diminuendo di intensità. 

Meritano un commento anche 1 coefficienti di alcune variabili di control- 
lo. Generalmente, laddove significativi, il loro segno conferma le aspettative. 
Ceteribus paribus, il punteggio medio risulta più basso per gli immigrati, per 
chi in casa parla una lingua straniera (о più precisamente una lingua diversa 
da quella in cui lo studente ha risposto al questionario PISA), per le femmine 
e per i ripetenti. Inoltre il punteggio medio aumenta quanto minore è la quota 
di ripetenti nell’intera scuola e quanto maggiore è il grado di motivazione 
dello studente. Con riferimento allo status socio-economico-culturale della 
famiglia, a parità di altre condizioni, possedere un numero medio-alto di libri 
e avere genitori occupati in professioni legate alla finanza, alle assicurazio- 
ni e alla contabilità influenzano positivamente la performance in financial 
literacy. Al contrario, il segno dell’effetto del titolo di studio dei genitori e 
dell’indicatore della ricchezza familiare non è uniforme tra i diversi Paesi. 
Nello specifico, a parità delle altre caratteristiche, in Italia il punteggio in 
financial literacy è mediamente più basso per chi ha i genitori con un alto 
titolo di studio; in tre Paesi (Belgio, Olanda e Slovacchia), la ricchezza fami- 
liare ha un’influenza negativa sul rendimento medio alle prove di financial 
literacy. 

L’introduzione del punteggio in matematica tra le covariate determina 
un’ulteriore contrazione dell'effetto della dummy delle esperienze (modelli 
OLS3 in tabella 3). Sulla base di questa specificazione, anche per gli USA, 
oltre che per Slovacchia e Cile, tale effetto non risulta più significativo. Per 
gli USA, in particolare, si può affermare che la competenza in matematica 
costituisce un canale attraverso il quale le esperienze finanziarie si traducono 
in competenze finanziarie più elevate. Inoltre, si osserva una ridotta eteroge- 
neità tra i restanti Paesi, visto che l’effetto varia da 9,71 in Spagna a 16,21 
in Italia. Come ci si poteva aspettare, il punteggio in matematica esercita un 
impatto positivo e significativo sul punteggio in financial literacy, uniforme- 
mente per tutti i Paesi. 

La regressione quantile permette di analizzare se l’effetto dell’eperien- 
za si mantiene costante sull’intera distribuzione dei livelli di competenza 
in financial literacy oppure è più o meno accentuato in corrispondenza di 
determinati percentili della stessa distribuzione. 

I risultati della regressione quantile dei diversi Paesi sono presentati nella 
tabella 4. Il modello stimato è quello che include, come covariate, tutte le va- 
riabili di controllo inserite nel modello OLS3. In quattro Paesi (Cile, Polonia, 
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Slovacchia e Stati Uniti) l’effetto delle esperienze finanziarie non è risultato 
significativo in nessuno dei percentili considerati. In Spagna e Olanda l’ef- 
fetto è significativo al 10% solo per il 20-esimo percentile e per il 20-esimo 
e 30-esimo percentile, rispettivamente. Tra i restanti Paesi si osservano al- 
cune interessanti specificità. In Belgio e Canada, il bagaglio di esperienze 
finanziarie assicura un vantaggio significativo in termini di competenze, a 
parità di tutte le altre caratteristiche, nella prima metà della distribuzione del 
punteggio in financial literacy, e tale vantaggio supera i 25 punti in Belgio e 
1 20 punti in Canada. 


Tab. 4 — Effetto dell’esperienza finanziaria ai diversi percentili del livello di finan- 
cial literacy (regressione UOR) 


Perc. BEL CAN CHL ESP ITA NLD POL SVK | USA 


plO 1188 1826 -19,65 14,87 656 10,74 -2,41 -10,08 1,65 
p20 1617 17,8% -4,39 17,49* 16,0 20,3% 3,69 -10,62 -2,90 
р25 22,77%% 20,04** -4,62 14,86 14,55 22,07 3,02 -9,59 -5,46 
p30 25,19%%% 19,54** -2,30 13,18 13,61 22,1% 7,3 -835 -1,26 
р40 22,67%% 17,88* 4,66 824 15,2% 15,02 9,8 0,55 -2,02 
p50 20,23%% 16,48% 601 5,0 16,2% 11,96 11,90 4,56 1,17 
р60 17,29% 14,15 545 621 19,54%%% 11,31 13,53 9,91 5,28 


р70 13,27 12,31 10,41 8,41 21,82%% 11,20 14,10. 12,9 9,25 
р75 11,52 13,07 11,85 7,82 21,10%% 12,31 16,24 13,69 9,08 
р80 11,22 10,55 15,31 7,03 22,55%% 10,93 13,5 14,29 8,06 
р90 8,61 10,85 20,80 9,08 24,09 15,09 11,81 7,20 2,42 


*=р< 0,10, ** = p < 0,05, *** =p < 0,01. 


Fonte: elaborazione degli autori su dati PISA 2015 


Al contrario, per gli studenti italiani, la differenza nel rendimento alle 
prove di financial literacy si amplifica e diventa significativa nella seconda 
parte della distribuzione e supera 1 22 punti in corrispondenza dell’80-esimo 
percentile. Questo risultato indica che l'accumulo di esperienze con il denaro 
da parte degli studenti italiani ha una ricaduta sul punteggio alla prova di 
financial literacy maggiore per chi ha punteggi più alti, con la conseguenza 
che tale effetto produce un incremento della disuguaglianza dei punteggi. 

Con l'obiettivo di sottoporre a verifica le differenze tra Paesi sia nei livelli 
della competenza in financial literacy sia nel legame tra pratiche finanziarie 
e competenza, sono stati stimati dei modelli di regressione pooled sul totale 
delle osservazioni campionarie dei 9 Paesi inserendo gli effetti fissi di Paese 
e le loro interazioni con l'indicatore di esperienza finanziaria. Per impostare 
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il confronto tra Paesi in termini di differenze tra ciascun Paese e la media di 
tutti i Paesi (invece che in termini di differenze tra ciascun Paese e un Pae- 
se scelto come riferimento), anziché definire otto variabili dummy abbiamo 
adottato una codifica alternativa (effects coding, vedi Cohen et al., 2003). 
In questo modo, per il modello OLS, la stima della costante rappresenta il 
punteggio in financial literacy medio dei 9 Paesi quando tutte le variabili 
esplicative sono fissate a 019, 


Tab. 5 — Stime OLS dei coefficienti del modello pooled con effects coding 


Coefficiente Stima OLS pooled 
finexp 8,96*** 
Belgio 58,50*** 
Canada 31,49*** 
Cile -43,88*** 

Effetti fissi di Paese | m Spagna -11.34*** 

(differenze nel punteggio medio rispetto . 

a media OECD) Italia -3,69 
Olanda 24,14*** 
Polonia -8,97%%% 
Slovacchia -47,53*** 
finexp*Belgio 6,12 
finexp*Canada 8,97% 
finexp*Cile -6,91 

Interazioni finexp-effetti fissi di Paese | finexp*Spagna -2,32 

(differenze nell’effetto di finexp sul punteggio gua 

medio rispetto a media OECD) finexp*Italia 0,17 
finexp*Olanda 10,09%% 
finexp*Polonia -0,24 
finexp*Slovacchia -12,20%% 
constante 502,39*** 

М 14.179 

В? corretto 0,657 


Nota: Sono riportate solo le stime dei coefficienti di finexp, degli effetti di Paese, delle interazioni tra 
finexp ed effetti di Paese e della costante. Il modello è stato stimato con tutte le covariate specificate in 
tab. 2. 

Gli Stati Uniti sono il Paese base, per il quale le differenze rispetto alla media di tutti i Paesi si possono 
ricavare indirettamente dalla somma (presa col segno negativo) dei coefficienti degli altri otto Paesi. 
*=р< 0,10, ** = p < 0,05, *** = p < 0,01. 


Fonte: elaborazione su дан PISA 2015 


9 Lo score in matematica è stato sostituito dallo score centrato rispetto alla media di 
Paese, quindi fissare questa nuova variabile a 0 vuol dire considerare uno studente con un 
punteggio in matematica uguale al punteggio medio del proprio Paese. 


197 


ISBN 9788891794789 


Le stime degli effetti fissi (tabella 5) esprimono le differenze tra il punteg- 
gio in financial literacy medio di ogni Paese e il punteggio medio dei 9 Paesi. 
Nello specifico, un coefficiente positivo e significativo indica che per il corri- 
spondente Paese il punteggio medio in financial literacy per quella categoria 
di studenti 8 significativamente superiore al punteggio medio dei 9 Paesi. La 
stima del coefficiente dell’indicatore di esperienza finanziaria (finexp) espri- 
me l'effetto medio dell'esperienza finanziaria nei 9 Paesi, controllando per il 
set di covariate. Le stime dei coefficienti delle interazioni tra ciascun effetto 
fisso di Paese e l'indicatore di esperienza finanziaria (da finexp*Belgio a 
finexp*Spagna in tabella 5) si interpretano come differenze tra l'effetto delle 
esperienze finanziarie in ciascun Paese e la media degli effetti di tutti 1 9 
Paesi. Quindi, un coefficiente positivo e significativo indica che per il cor- 
rispondente Paese, a parità di altre caratteristiche, l'effetto delle esperienze 
finanziarie е significativamente superiore all'effetto medio dei 9 Paesi. 

Rispetto al punteggio in financial literacy medio dei 9 Paesi (pari a 502,39 
e riferito agli studenti che presentano valori nulli per tutte le covariate), in Bel- 
gio, Canada e Olanda il punteggio medio è significativamente maggiore men- 
tre in Polonia, Spagna, Cile e Slovacchia il punteggio medio è significativa- 
mente inferiore. Italia e Stati Uniti non si discostano dalla media complessiva. 

Con riferimento al legame tra esperienze e competenze finanziarie, a 
fronte di un effetto medio dei 9 Paesi pari a 8,96, la differenza risulta positiva 
e significativa solo per Canada e Olanda mentre е negativa per la Slovacchia. 


4.2. Controlli di robustezza 


I risultati ottenuti mediante le analisi di regressione (OLS e UQR) sono 
stati ulteriormente verificati implementando due controlli di robustezza: il 
primo ha riguardato l'utilizzo del propensity score come approccio metodo- 
logico alternativo alla regressione OLS, il secondo ha interessato la costru- 
zione dell’indicatore sintetico di esperienza finanziaria. 

Per quanto riguarda la metodologia di analisi adottata, 6 stato valutato 
l'effetto del livello di esperienza finanziaria in termini di effetto medio del 
trattamento sui trattati: Average Treatment effect on Treated (АТТ). In questa 
ottica, l'indicatore di esperienza finanziaria viene considerato come variabi- 
le di trattamento (Т) e si considerano “trattati” (T, = 1) gli studenti che non 
effettuano esperienze finanziarie (finexp = 0) viceversa vengono considerati 
“non trattati” (Т, = 0) coloro che svolgono esperienza finanziaria (finexp = 
1). Di conseguenza l’effetto medio del trattamento sui trattati (ATT) viene 
definito come: 
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ATT = E[Y;; — Yor IT; = 1] = Е[Үн|Т = 1] — E[VoilT = 1] (3) 


dove Y , e Y „ rappresentano, rispettivamente, il punteggio in financial litera- 
cy di coloro che sono trattati e quello di coloro che non sono trattati. 

L'ATT rappresenta la differenza tra il punteggio medio effettivo dei trat- 
tati (studenti con nessuna esperienza) e il punteggio medio potenziale dei 
trattati se fossero non trattati (cioè se avessero esperienza).Conseguentemen- 
te un valore negativo dell' ATT indicherà un effetto positivo dell'esperienza 
sulle competenze finanziarie, in quanto ГАТТ rappresenta la differenza tra il 
punteggio medio attuale di coloro che non svolgono esperienza finanziaria 
rispetto al punteggio controfattuale (che si aspetta più elevato) che gli stessi 
avrebbero se svolgessero esperienza finanziaria. 

I passi della procedura consistono nella stima del propensity score che 
puó essere definito come la probabilità di assegnare uno studente al tratta- 
mento (T, — 1, non svolgere esperienze in ambito finanziario) condizionata- 
mente a un vettore di caratteristiche osservate: 


РО) = P(T; = 1|X;) (4) 


Il calcolo де! propensity score è, quindi, effettuato mediante un modello 
logit che permette di stimare la probabilità di essere trattati (Т, = 1, non avere 
esperienze finanziarie. 

Sulla base del propensity score, si ricava un sistema di pesi che, mediante 
un approccio IPTW – Inverse Probability of Treatment Weighting — (Lunce- 
ford e Davidian, 2004; Sato e Matsuyama, 2003), consente di bilanciare la 
distribuzione delle covariate di coloro che non hanno effettuato esperienze 
finanziarie rispetto a quella di coloro che le hanno effettuate. In tal modo е 
possibile pervenire alla stima dell’ АТТ come: 


па 
1 Ё(Х;) A- P) 
АТТ = =) wf ED - 
Уи ГИ XQ "р. (1-20) G) 


Dove уу, è il peso campionario di PISA per lo studente i, mentre р è la fre- 
quenza relativa (pesata) dei trattati. In tabella 6 si riportano le stime dell’ ATT 
per ogni Paese. 


199 


ISBN 9788891794789 


Tab. 6 – Effetto medio del trattamento (АТТ) con approccio IPTW 


Paese ATT! 
Belgio (BEL) -14,89*** 
Сапапда (САМ) -14,32*** 
Cile (CHL) -2,46 
Spagna (ESP) -8,77% 
Italia (ITA) -16,42*** 
Olanda (NLD) -15,22%%% 
Polonia (POL) -13,55** 
Slovacchia (SVK) -0,30 
Stati Uniti (USA) -2,21 


1 Valori negativi dell’ АТТ esprimono un impatto positivo dell'esperienza sulle competenze finanziarie, 
in quanto l’ATT rappresenta la differenza tra il punteggio medio attuale di coloro che non svolgono espe- 
rienza finanziaria rispetto al punteggio controfattuale che gli stessi avrebbero se svolgessero esperienza 
finanziaria. 

*=p<0,10, ** = p < 0,05, *** = p < 0,01. 


Fonte: elaborazione su дан PISA 2015 


Le stime dell’ATT sono significative per tutti i Paesi OECD ad eccezio- 
ne di Cile, Slovacchia e USA dove l’effetto risulta statisticamente non si- 
gnificativo (tabella 6). Le esperienze finanziarie incrementano, in media, la 
performance in financial literacy da un minimo di circa 9 punti in Spagna a 
un massimo di oltre 16 punti in Italia. I risultati ottenuti mediante il propen- 
sity score risultano pienamente coerenti con quelli derivati dall’analisi OLS 
(vedi tabella 3, stime OLS3) e portano quindi a confermare, malgrado le 
peculiarità metodologiche che differenziano i due approcci, il ruolo positivo 
che svolge l’esperienza finanziaria sul livello di conoscenza finanziaria degli 
studenti. 

Un ulteriore controllo di robustezza ha riguardato la costruzione dell’in- 
dicatore di esperienza finanziaria, in particolare si è cercato di superare la 
natura dicotomica dell’indicatore utilizzando, come alternativa, una varia- 
bile che esprime il conteggio delle esperienze finanziarie realizzate da ogni 
studente. La nuova variabile di esperienza finanziaria assume, quindi, valori 
compresi nell’intervallo 0-3 e il coefficiente a essa associato esprime la va- 
riazione marginale del punteggio in financial literacy rispetto allo svolgi- 
mento di un’ulteriore esperienza in ambito finanziario. 

In tabella 7 vengono riportati risultati delle regressioni OLS e UQR sti- 
mati sulla base di questo indicatore alternativo. 
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Tab. 7- Risultati dell’analisi di regressione ottenuti con indicatore alternativo di 
esperienza finanziaria 


OLS UOR 
coefficiente 25° percent. 50° percent. 75° percent. 
Belgio (BEL) 9.28*** 13,77%% 10,54% 6,59 
Сапапда (САМ) 9,06%% 12,59% 11,68% 9,37% 
Cile (CHL) 2,16 3,41 6,19 3,25 
Spagna (ESP) 2,95 3,73 2,03 2,69 
Italia (ITA) 8,52% 7,36 7,62 8,55% 
Olanda (NLD) 11,40*** 17,72%% 8,93 9,2 
Polonia (POL) 3,24 3,43 3,33 4,06 
Slovacchia (SVK) 2,58 -1,51 6,56 8,71 
Stati Uniti (USA) 1,79 1,25 -0,23 0,23 


*=р< 0,10, ** = p < 0,05, *** =p < 0,01. 


Fonte: elaborazione su dati PISA 2015 


Come atteso, data la natura diversa dell’indicatore, l’effetto delle espe- 
rienze finanziarie in questo caso è stimato su valori più bassi. Si confermano 
comunque le principali conclusioni per i 4 Paesi dove le stime sono significa- 
tive (Belgio, Canada, Italia e Olanda), in particolare, in Italia l’effetto è signi- 
ficativo in media e anche nella seconda metà della distribuzione dei punteggi. 


5. Conclusioni 


Nel paper si valuta l’effetto dell’esperienza finanziaria sul grado di com- 
petenze finanziarie degli studenti quindicenni dei Paesi OECD partecipanti 
al segmento della indagine OECD PISA relativo alla financial literacy. Le 
stime di modelli di regressione OLS hanno messo in luce che l’effetto “lor- 
do” (in assenza di controlli) dell’esperienza è significativamente elevato in 
tutti i Paesi OECD analizzati ad eccezione della Slovacchia. Questo effetto 
continua a essere significativo, con poche eccezioni, sia dopo aver inserito 
una serie di covariate prevalentemente legate al contesto socio-economico 
e alla personalità dello studente, sia dopo aver controllato per il livello di 
competenza in matematica. Dal confronto tra Paesi emerge che da un lato 
Canada e Olanda si distinguono dalla media dei nove Paesi per il livello 
significativamente più alto sia della competenza media in financial literacy 
sia dell’effetto dell’esperienza finanziaria sulla competenza. Dall’altro lato, 
la Slovacchia si segnala per il livello significativamente inferiore alla media 
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dei nove Paesi sia del punteggio medio in financial literacy sia dell’effetto 
che su di esso hanno le pratiche finanziarie degli studenti. Il ricorso ai mo- 
delli di regressione quantile permette di ampliare il campo di osservazione 
della relazione tra esperienza e competenza mettendo in luce una notevole 
eterogeneità tra i vari Paesi riguardo all’intensità di questo effetto rispetto ai 
diversi percentili della distribuzione dei punteggi. 

I risultati non presentano variazioni degne di nota se utilizziamo un indi- 
catore di conteggio delle esperienze finanziarie al posto dell’indicatore di- 
cotomico né se calcoliamo l’effetto delle esperienze finanziarie come effetto 
medio del trattamento tra 1 trattati (АТТ) attraverso la stima del propensity 
score. 

In generale, i programmi educativi dovrebbero fare più affidamento sul- 
l’apprendimento esperienziale. Per esempio, Mandell (2008) ha dimostrato 
che i programmi di alfabetizzazione finanziaria delle scuole superiori che 
incorporano 1 giochi del mercato azionario portano a notevoli miglioramenti 
nei punteggi di alfabetizzazione finanziaria. 

In questa ottica, l’implicazione principale della nostra analisi permette di 
affermare che approcci mirati a incentivare la confidenza e l’esperienza degli 
adolescenti con gli argomenti e gli strumenti finanziari (per esempio l’in- 
centivo all’utilizzo dei conti correnti o dei metodi di pagamento elettronico) 
possono essere un valido strumento per migliorare l’alfabetizzazione finan- 
ziaria degli adolescenti di oggi е, conseguentemente, il benessere economico 
delle famiglie di domani. 
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Appendice 


Tab. A1 — Statistiche descrittive 


Media Dev Min Max Media Dev Min Мах Media Dev. Min Мах 
std. std. std. 
Variabile Belgio Canada Cile 
finscore 548,88 101,02 217,71 788,10 539,78 102,80 202,35 862,27 436,47 99,49 172,72 711,30 
finexp 0,47 0,50 0,00 1,00 0,50 0,50 0,00 1,00 0,17 0,38 0,00 1,00 
matscore 525,38 93,32 275,96 774,07 513,64 83,84 234,78 799,68 428,09 83,08 167,72 679,08 
immig 1 2 0,14 0,35 0,00 1,00 0,33 0,47 0,00 1,00 0,02 0,15 0,00 1,00 
female 0,49 0,50 0,00 1,00 0,49 0,50 0,00 1,00 0,51 0,50 0,00 1,00 
langfor 0,13 0,34 0,00 1,00 0,17 0,38 0,00 1,00 0,01 0,11 0,00 1,00 
motivat -0,64 0,78 -3,09 1,85 0,37 1,00 -3,09 1,85 0,31 0,97 -3,09 1,85 
repeat 0,21 041 0,00 1,00 0,03 0,18 0,00 1,00 0,24 0,42 0,00 1,00 
high hisc 0,66 0,47 0,00 1,00 0,82 0,38 0,00 1,00 0,42 0,49 0,00 1,00 
few_book 0,35 0,8 0,00 1,00 0,22 0,41 0,00 1,00 0,53 0,50 0,00 1,00 
avg repeat 0,23 0,18 0,00 1,00 0,03 0,05 0,00 0,67 03 0,18 0,00 1,00 
wealth 0,27 0,71 -1,91 2,70 0,59 0,97 -6,99 4,29 -0,63 0,99 -4,79 4,19 
profinpar 0,08 0,28 0,00 1,00 0,13 0,33 0,00 1,00 0,04 0,19 0,00 1,00 
Variable Spagna Italia Olanda 
finscore 471,04 95,54 136,47 759,50 491,57 87,31 202,05 778,25 526,41 110,18 160,33 856,51 
finexp 0,34 0,47 0,00 1,00 0,20 0,40 0,00 1,00 0,61 0,49 0,00 1,00 
matscore 487,96 84,90 226,05 753,80 492,23 92,21 158,52 792,03 522,57 87,91 258,92 756,01 
immig 1 2 0,1 0,32 0,00 1,00 0,08 0,27 0,00 1,00 0,0 0,30 0,00 1,00 
female 0,50 0,50 0,00 1,00 0,49 0,50 0,00 1,00 0,52 0,50 0,00 1,00 
langfor 0,17 0,38 0,00 1,00 0,17 0,37 0,00 1,00 0,06 0,24 0,00 1,00 
motivat -0,16 0,91 -3,09 1,85 -0,19 0,84 -3,09 1,85 -0,45 0,73 -3,09 1,85 
тереа! 0,30 0,46 0,00 1,00 0,13 0,33 0,00 1,00 0,20 0,40 0,00 1,00 
high hisc 0,55 0,50 0,00 1,00 0,40 0,49 0,00 1,00 0,65 0,48 0,00 1,00 
few_book 0,3 0,42 0,00 1,00 0,29 0,45 0,00 1,00 0,39 0,49 0,00 1,00 
avg repeat 0,27 0,15 0,00 0,3 0,2 0,12 0,00 1,00 020 0,11 0,00 0,56 
wealth 0,13 0,82 -2,73 418 0,01 0,73 -3,05 4,12 0,32 0,61 -1,93 3,35 
profinpar 0,06 0,24 0,00 1,00 0,07 0,26 0,00 1,00 0,10 0,30 0,00 1,00 
(continua) 
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Tab. A1 — Statistiche descrittive 


Media Dev. Min Мах Media Dev. Min Мах Media Dev. Min Max 


std. std. std. 
Variabile Polonia Slovacchia USA 
finscore 489,31 95,79 204,09 825,91 444,15 111,54 87,04 757,37 499,35 100,49 188,93 766,51 
finexp 0,17 0,37 0,00 1,00 0,24 0,43 0,00 1,00 0,38 0,49 0,00 1,00 


matscore 507,29 84,41 253,47 750,30 477,77 89,74 204,16 740,22 479,27 86,46 202,36 753,81 
immig 12 0,00 0,05 0,00 1,00 0,01 0,11 0,00 1,00 0,19 0,40 0,00 1,00 


female 0,51 0,50 0,00 1,00 0,48 0,50 0,00 1,00 0,50 0,50 0,00 1,00 
langfor 0,01 0,10 0,00 1,00 0,07 0,25 0,00 1,00 0,15 0,36 0,00 1,00 
motivat -0,41 0,82 -3,09 1,85 -0,30 0,87 -3,09 1,85 0,65 0,95 -3,09 1,85 
repeat 0,05 0,21 0,00 1,00 0,06 0,24 0,00 1,00 0,09 0,29 0,00 1,00 
high hisc 0,22 0,42 0,00 1,00 0,36 0,48 0,00 1,00 0,63 0,48 0,00 1,00 
few_book 0,28 0,45 0,00 1,00 0,35 0,48 0,00 1,00 0,39 0,49 0,00 1,00 
avg repeat 0,04 0,05 0,00 0,23 0,06 0,13 0,00 0,80 0,10 0,09 0,00 0,67 
wealth -0,29 0,74 -3,29 4,09 -0,34 0,76 -3,87 4,09 0,60 1,06 -2,53 4,27 
profinpar 0,08 0,27 0,00 1,00 0,08 0,27 0,00 1,00 0,10 0,30 0,00 1,00 


Fonte: elaborazione su дан PISA 2015 


Riferimenti bibliografici 


Avvisati F., Keslair F. (2014), “REPEST: Stata Module to run Estimations with 
Weighted Replicate Samples and Plausible Values”, Statistical Software Compo- 
nents S457918, Boston College Department of Economics. 

Behrman J.R., Mitchell O.S., Soo C.K., Brava D. (2012), *How Financial Literacy 
affects Household Wealth Accumulation", American Economic Review, 102 (3), 
pp. 300-304. 

Campbell J.Y. (2006), “Household Finance”, The Journal of Finance, 61 (4), pp. 
1553-1604. 

Chen H., Volpe R.P. (2002), *Gender Differences in Personal Financial Literacy 
among College Students", Financial Services Review, 11 (3), pp. 289-307. 

Cohen J., Cohen P., West S.G., Aiken L.S. (2003), Applied Multiple Regression/Cor- 
relation Analysis for the Behavioral Sciences, Lawrence Erlbaum Associates, 
Mahwah (NJ), 3“ ed. 

Cole S., Sampson T., Zia B. (2011), “Prices or Knowledge? What Drives Demand 
for Financial Services in Emerging Markets", Journal of Finance, 66 (6), pp. 
1933-1967. 

Coleman J.S., Campbell E.Q., Hobson C.J., Mcpartland J., Mood A.M., Weinfeldand 
F.D., York R.L. (1966), Equality of Educational Opportunity, Washington (DC). 

Dvorak T., Hanley H. (2010), “Financial Literacy and the Design of Retirement 
Plans", Journal of Socio-Economics, 39, pp. 645-652. 


204 


ISBN 9788891794789 


Firpo S., Fortin N.M., Lemieux Т. (2009), *Unconditional Опапше Regressions", 
Econometrica, 77, 3, pp. 953-973. 

Frijns B., Gilbert A., Tourani-Rad A. (2014), "Learning by doing: The Role of Finan- 
cial Experience in Financial Literacy", Journal of Public Policy, 34, pp. 123-154. 

Guiso L., Jappelli T. (2008), Financial Literacy and Portfolio Diversification, CEPR 
WP. 

Hilgert M., Hogarth J., Beverly S. (2003), “Household Financial Management: The 
Connection between Knowledge and Behavior", Federal Reserve Bulletin, 9, pp. 
309-322. 

Longobardi S., Pagliuca M.M., Regoli A. (2018), *Can Problem-solving Attitudes 
explain the Gender Gap in Financial Literacy? Evidence from Italian Students” 
Data”, Quality & Quantity, 52 (4), pp. 1677-1705. 

Longobardi S:, Pagliuca M.M., Regoli A. (2017), *Family Background and Finan- 
cial Literacy of Italian Students: The Mediating Role of Attitudes and Motiva- 
tions", Economics Bulletin, 37 (4), pp. 2585-2594. 

Lunceford J.K., Davidian M. (2004), “Stratification and Weighting via the Propen- 
sity Score in Estimation of Causal Treatment Effects: A Comparative Study”, 
Statistics in Medicine, 23 (19), pp. 2937-2960. 

Lusardi A., Mitchell O.S. (2008), “Planning and Financial Literacy: How до Women 
fare?”, American Economic Review, 98 (2), pp. 413-417. 

Lusardi A., Mitchell O.S. (2011), “Financial Literacy around the World: An Over- 
view”, Journal of Pension Economics and Finance, 10 (4), pp. 497-508. 

Lusardi A., Tufano P. (2015), “Debt Literacy, Financial Experiences, and Overin- 
debtedness”, Journal of Pension Economics and Finance, 14 (4), pp. 332-368. 

Lusardirose A., Mitchell O.S., Curto V. (2010), “Financial Literacy among the 
Young”, Journal of Consumer Affairs, 44 (2), pp. 358-380. 

Mandell L. (2008), The Financial Literacy of Young American Adults: Results of the 
2008 National Jump$tart Coalition Survey of High School Seniors and College 
Students, University of Washington and the Aspen Institute, Seattle (WA). 

Noon K.L., Fogarty G.J. (2007), “Cognitive and Personality Predictors of Financial 
Literacy among adult Australians”, in 42" Australian Psychological Society An- 
nual Conference, Australia. 

OCDE (2013), PISA 2012. Assessment and Analytical Framework. Mathematics, 
Reading, Science, Problem Solving and Financial Literacy, OECD Publishing, 
Paris. 

OECD (2005), Recommendation on Principles and Good Practices for Financial 
Education and Awareness, OECD Publishing, Paris. 

OECD (2012), PISA 2012 Financial Literacy Assessment Framework, Australian 
Council for Educational Research, ACER, Australia. 

OECD (2014), PISA 2012 Results: Students and Money, vol. VI: Financial Literacy 
Skills for the 21st Century, OECD Publishing, Paris. 

OECD (2017a), PISA 2015 Results, vol. IV: Students’ Financial Literacy, PISA, 
OECD Publishing, Paris. 

OECD (20175), PISA 2015 Technical Report, OECD Publishing, Paris. 


205 


ISBN 9788891794789 


Sato Т., Matsuyama У. (2003), “Marginal Structural Models as a Tool for Standardi- 
zation", Epidemiology, 14, pp. 680-686. 

Shanks T.R.W. (2007), “Тһе Impact of Household Wealth on Child Development", 
Journal of Poverty, 11 (2), pp. 93-116. 

Van Rooij М.СЈ., Lusardi A., Alessie R.J.M. (2011), “Financial Literacy and Кей- 
rement Planning in the Netherlands", Journal of Economic Psychology, 32, pp. 
593-608. 

Wu MLL. (2004), “Plausible Values”, Rasch Measurement Transactions, 18 (2), pp. 
976-978. 


206 


ISBN 9788891794789 


Sommari 


1. I compiti a casa e l'apprendimento della matematica: un ap- 
proccio multilivello a partire dai dati dell’indagine TIMSS 2015 


Andrea Bendinelli, Patrizia Giannantoni, Giuseppina Le Rose 


Il presente lavoro intende fornire un contributo empirico al dibattito dei 
livelli di apprendimento degli studenti in relazione al tempo dedicato ai com- 
piti a casa, e si propone di approfondire se e in quale misura le performance 
nella prova degli studenti siano direttamente associate all’impegno fuori la 
scuola, controllando il fenomeno per alcune importanti caratteristiche. Oltre 
al genere, l’origine, la regolarità nel percorso di studi e la preparazione in 
ingresso, si è ritenuto importante utilizzare anche un indice di status socio- 
economico (SES), poiché i compiti a casa potrebbero avere un effetto diffe- 
renziato, a vantaggio degli studenti che provengono da famiglie con risorse 
elevate, sia in termini economici che culturali. 

I dati utilizzati sono quelli provenienti dall’indagine internazionale 
TIMSS 2015 agganciati, ove possibile, con la base dati INVALSI. Il cam- 
pione comprende gli studenti italiani di terza secondaria di primo grado che 
hanno sostenuto la prova di Matematica in TIMSS. 

In primo luogo si è svolta un’analisi descrittiva del fenomeno mettendo in 
relazione la performance nella prova con alcune caratteristiche dello studen- 
te e della classe frequentata: a livello di studente è stato utilizzato l’indice di 
status socio-economico, una domanda sul tempo dedicato ai compiti a casa e 
il voto attribuito dall’insegnante di matematica al primo quadrimestre come 
proxy del livello di competenza in ingresso; a livello di classe le variabili 
chiave sono state, oltre al tipo di composizione del corpo studentesco del- 
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la classe, anche il coinvolgimento dei genitori nelle attività scolastiche e il 
feedback degli insegnanti sui compiti svolti. 

L’analisi descrittiva è poi approfondita con la stima di modelli di regres- 
sione a due livelli, ponendo come variabile di outcome il rendimento alla 
prova di Matematica e, come variabili esplicative, oltre alle caratteristiche 
individuali, anche le caratteristiche delle classi. Nel lavoro si evidenzia come 
la perfomance degli alunni alla prova, in relazione al tempo dedicato ai com- 
piti a casa, risulti profondamente differenziata a seconda che si tengano sotto 
controllo le risorse possedute dallo studente a casa e/o il livello di prepara- 
zione in ingresso. 


Keywords: TIMSS 2015, regressione multilivello, compiti a casa, apprendi- 
mento della Matematica, INVALSI. 


This paper aims at providing empirical evidence to the debate concer- 
ning the relationship between students' achievement and time spent on ho- 
mework. Particularly, it contributes to a better understanding on whether and 
to what extent the average time spent doing homework is associated with 
school performance in standardized tests. Results were controlled for im- 
portant students" characteristics: gender, migratory background and baseline 
learning abilities. In addition, an index of socio-economic status (SES) was 
introduced in the analysis, in consideration of the fact that homework could 
have a different impact on performances, with a particular benefit for those 
students coming from high income /resources families. 

Data are derived from TIMSS 2015 international survey, linked with IN- 
VALSI national data. The sample is composed by all grade 8 students, at- 
tending the TIMSS test of mathematics. 

In a first step, we performed a descriptive analysis of the phenomenon, 
looking at mathematics scores according to: weekly time spent on home- 
work, socio-economic status, basic learning abilities, grade of parental sup- 
port and teacher's feedbacks about homework. 

In a second phase, we took into consideration the hierarchical structure of 
the data, with the estimation of multilevel models, nested on two levels: stu- 
dent and class. The outcome variable was mathematics score at TIMSS test, 
while the covariates at individual level were: gender, citizenship, regularity 
at school, SES, basic learning abilities and weekly time spent to homework. 
Additionally, at class level we investigated the effects of: parental support, 
teachers’ feedback about homework, geographical location of the class. 

Our basic findings suggest that the student's performance is only margin- 
ally influenced by time spent on homework and that this association changes 
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profoundly when the model is controlled for home resources and/or basic 
learning abilities of the student. 


Keywords: TIMSS 2015, multilevel regression, homework, Mathematics 
achievement, INVALSI. 


2. Student self-beliefs and achievement in mathematics using 
TIMSS Advanced 


Laura Palmerio, Elisa Caponera 


This study investigated the relationship between student self-beliefs and 
mathematics performance using a structural equation modeling approach. 
Italian students participating in TIMSS (Trends in International Mathematics 
and Science Study) Advanced 2015 (N = 1982; mean age: 18 and 10 months, 
+ 8) were considered. Students answered the TIMSS Advanced mathematics 
test and the international questionnaire that included questions regarding stu- 
dents’ socio-economic and cultural background, attitudes and beliefs — such 
as their enjoyment of mathematics and the value they place on mathematics 
— and future expectations regarding their educational career. Furthermore, 
the same students participated in a national survey and answered questions 
regarding mathematics self-efficacy and anxiety. The results showed that all 
measures were significantly associated with the mathematics achievement 
score; specifically, self-efficacy was the best predictor of mathematics per- 
formance. This study indicates that the individual's belief system plays a key 
role in mathematics achievement. A fundamental aspect of beliefs is that they 
can be modified; therefore, it is important to consider specific interventions 
in the teaching and learning process geared in this direction. 


Keywords: mathematics achievement, TIMSS Advanced, SEM, self-beliefs. 


Nel presente contributo 81 esamina la relazione tra le convinzioni degli 
studenti e il rendimento in matematica, attraverso lo sviluppo di un modello 
di equazioni strutturali. Sono stati esaminati i risultati degli studenti italia- 
ni partecipanti a TIMSS (Trends in International Mathematics and Science 
Study) Advanced 2015 (N = 1982, età media: 18 e 10 mesi, + 8). Gli studenti 
hanno risposto alla prova cognitiva di matematica avanzata TIMSS e al que- 
stionario internazionale che includeva domande riguardanti il background 
socio-economico e culturale degli studenti, atteggiamenti e convinzioni 
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— come per esempio la motivazione intrinseca ed estrinseca nei confronti 
dell’apprendimento della matematica — e le aspettative future sulla loro car- 
riera accademica. Inoltre, gli stessi studenti hanno risposto a un questionario, 
sviluppato a livello nazionale, contenente domande riguardanti l’auto-effica- 
cia e l’ansia nei confronti della matematica. I risultati hanno evidenziato una 
relazione statisticamente significativa e positiva fra tutte le misure relative al 
sistema di autoregolazione dell’apprendimento (eccetto l’ansia per la quale è 
negativa) e il rendimento in matematica avanzata. L’auto-efficacia è risultata 
essere la variabile maggiormente associata al rendimento in matematica, gio- 
cando un ruolo chiave nel successo scolastico. Sono discusse possibili impli- 
cazioni per l’apprendimento della matematica nel sistema scolastico italiano. 


Keywords: rendimento in matematica, TIMSS Advanced, SEM, convinzio- 
ni di sé. 


3. Are there immigrant-gender gaps in education? An empirical 
investigation based on PISA data from Italy 


Tindara Addabbo, Maddalena Davoli, Marina Murat 


Gender and migratory background are widely accepted in the econom- 
ics of education literature as factors highly correlated with educational out- 
comes. However, little attention has been devoted so far to the interaction 
of these two dimensions. We use Italian data from PISA 2015 to investigate 
potential immigrant-gender gaps in school assessment (differences in scores 
between immigrants and natives and between girls and boys). In line with 
previous work, we find that girls outperform boys in reading and are outper- 
formed by them in math and science, and that immigrant students’ test scores 
are persistently below those of natives. Interestingly, however, immigrant 
girls are less at a disadvantage in math and science relative to immigrant 
boys, than native girls are with respect to native boys. Moreover, the immi- 
grant girls’ advantage in reading relatively to immigrant boys is wider than 
that of native girls with respect to native boys. Overall, we find the stronger 
disadvantage is that of immigrant boys in reading-related fields. Language 
spoken at home is one of the main factors affecting this result, while fam- 
ily background strongly influences immigrant girls’ performances. Targeted 
policies should therefore be implemented. 


Keywords: immigrant-gender gap, education, OECD-PISA. 
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Il background migratorio e il genere dello studente sono ampiamente accet- 
tati nella letteratura economica come fattori che influenzano 1 risultati scolastici. 
Tuttavia, la possibile interazione tra queste due dimensioni è stata fino a ora 
trascurata. Utilizzando i dati italiani di PISA 2015, analizziamo le differenze per 
genere e origine nei risultati scolastici. In linea con la letteratura, troviamo che 
le ragazze presentano risultati migliori dei ragazzi nei test di lettura e viceversa 
in quelli di matematica e scienze; inoltre gli studenti immigrati hanno risultati 
inferiori a quelli dei nativi in tutte e tre le aree testate. Tuttavia, essere una ra- 
gazza con background migratorio non implica necessariamente uno svantaggio 
maggiore. Al contrario, troviamo che il differenziale negativo più ampio riguar- 
da 1 risultati dei ragazzi immigrati relativamente ai nativi in lettura. La lingua 
parlata nel nucleo familiare è uno dei principali fattori correlati a questo risul- 
tato. Il background familiare ha particolare influenza sui risultati delle ragazze 
immigrate. In ragione di ciò, dovrebbero essere implementate politiche mirate. 


Keywords: differenze di genere e di background migratorio, risultati scola- 
stici, OCSE-PISA. 


4. Placing literacy in cultural contexts: to what extent do sub-na- 
tional differences in OECD PISA literacy scores reflect cultural 
heterogeneity in cognition and motivation? 


Marco Spampinato 


This study investigates item bias and inquires into its cultural nature using 
data of OECD PISA 2015, referred to regional groups in Italy and Spain. Or- 
dinal logistic models were adopted to estimate the differential item functioning 
(DIF) between regional communities — an indicator of item bias that signals 
when a student's likelihood of giving the correct answer to an item diverges ас- 
cording to his/her group membership, instead of depending solely on her level 
of literacy. The results provide meaningful evidence of DIF, which varies exten- 
sively — in numerosity, magnitude and direction — between regional groups and 
domains of literacy. An example of cultural bias in reading literacy is provided 
by referring to an item previously studied by linguists within a national context. 

Overall, the most relevant item bias was found in mathematical literacy 
between Campania and Lombardy. The test of mathematics was therefore 
partitioned into subsets of biased and unbiased items, in order to verify a 
hypothesis of cultural mediation. A mediation model showed that *embodied 
cultural components" — i.e., epistemic beliefs about science — mediate the 
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relationship between intrinsic motivation and test performance on the biased 
test items in Campania. Conversely, the same model did not hold in Lom- 
bardy. Further, a regression analysis confirmed that variables used as proxies 
of a person's cultural orientation, together with the perceived teacher's sup- 
port in a science class, are better predictors of the students’ performance in 
mathematics in Campania than in Lombardy. 

Conclusions discuss how various research strategies applied to standard- 
ized measures of literacy — e.g., evaluating group bias item-by-item or un- 
derstanding the characteristics of a social environment which interfere with 
subsets of test items — might contribute to a better comprehension of the in- 
teraction between culture and education: an alternative to the benchmarking 
of students’ performance across countries and cultures. 


Keywords: items bias, Differential Item Functioning (DIF), cultural bias, cul- 
tural mediation, OECD-PISA. 


Lo studio investiga l'item bias e indaga la sua natura culturale attraverso 
dati OCSE PISA 2015, riferiti a gruppi regionali in Italia e Spagna. Sono sta- 
te adottate regressioni logistiche ordinali per stimare il Differential Item Fun- 
ctioning (DIF) tra comunità regionali — un indicatore di item bias che segna- 
la quando la probabilità di uno studente di dare la risposta corretta diverge 
come conseguenza della sua appartenenza a un gruppo invece di dipendere 
solamente dal suo livello di competenza. I risultati offrono una significativa 
evidenza di DIF, che varia ampiamente — per numerosità, dimensione e dire- 
zione – tra gruppi regionali e ambiti di competenza. Un esempio di bias cul- 
turale nella competenza in lettura é fornito riferendosi a un quesito studiato 
іп precedenza da linguisti in un contesto nazionale. 

Nel complesso, l'item bias più rilevante è emerso in matematica, tra Cam- 
pania e Lombardia. Il test di matematica é quindi suddiviso in sottoinsiemi di 
quesiti, biased e unbiased, per verificare un'ipotesi di mediazione culturale 
delle risposte. Un modello statistico ha mostrato che “componenti culturali 
incorporate” — credenze epistemiche sulla scienza — mediano, in Campania, 
la relazione tra motivazione intrinseca e performance, nel sottoinsieme biased 
di quesiti. Il medesimo modello non ha funzionato, di contro, in Lombardia. 
Un’ulteriore analisi di regressione ha confermato che variabili che approssi- 
mano l’orientamento culturale personale, insieme al sostegno percepito da par- 
te dell’insegnante nella classe di scienze, sono migliori predittori della perfor- 
mance in matematica degli studenti in Campania piuttosto che in Lombardia. 

Le conclusioni discutono come varie strategie di ricerca applicate alle mi- 
sure standardizzate di competenza — per es., valutare i bias quesito per quesi- 
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to о comprendere le caratteristiche di un ambiente sociale che interferiscono 
con sottoinsiemi di quesiti — possano contribuire a una migliore comprensio- 
ne dell’interazione tra cultura e istruzione: un’alternativa al benchmarking 
della performance degli studenti tra Paesi e culture. 


Keywords: items bias, Differential Item Functioning (DIF), differenze cultu- 
rali, mediazione culturale dei processi cognitivi, OECD-PISA. 


5. L'OCSE PISA secondo Google: un'analisi sulle notizie offerte 
online 


Brunella Fiore, Donatella Poliandri 


Gli esiti dell’indagine OCSE PISA e le loro ricadute mediatiche hanno 
determinato riforme di larga portata in numerosi Paesi. Sebbene in ritardo ri- 
spetto ad altri contesti nazionali, anche in Italia l’indagine ha conosciuto una 
certa risonanza nel complesso della comunicazione mediatica. Utilizzando 
le categorie di interpretazione già adottate da Pons (2011), il contributo ap- 
profondisce le modalità di diffusione dell’informazione relativa all’indagine 
OCSE PISA così come veicolata da uno dei più utilizzati motori di ricerca 
ossia Google. La rassegna relativa a 353 contributi, pubblicati da 127 diffe- 
renti portali web di notizie online nel periodo compreso tra il 2006 e il 2018, 
è oggetto di analisi del presente lavoro. Una specifica attenzione è rivolta alla 
comunicazione politica veicolata dai contributi analizzati e intesa come parte 
integrante della comunicazione nella società (Rush, 1998). Per identificare 
1 temi più ricorrenti, le autrici hanno condotto un’analisi documentaria di 
tipo “inchiesta” con approfondimenti di tipo quantitativo e qualitativo (Losi- 
to, 2007; Arosio, 2010, 2013). Successivamente è stato realizzato un appro- 
fondimento sulle notizie dei quattro canali di informazione online (Corriere 
della sera, Il Sole 24 ore, la Repubblica e Orizzonte Scuola) rispetto ai quali 
il portale di ricerca utilizzato ha rilevato il maggior numero di contributi. In 
riferimento ad alcune delle più importanti fonti informative, l’analisi con- 
dotta mostra come la comunicazione utilizzi gli esiti del PISA per “colpire” 
il pubblico mettendo in evidenza risultati negativi oppure per offrire notizie 
positive; in molti casi le informazioni sono trasmesse senza offrire elementi 
di approfondimento e di riflessione critica ragionata. 


Keywords: OCSE-PISA, Italia, motore di ricerca, graduatorie, media, analisi 
corrispondenze. 
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Тһе outcomes of the OECD PISA survey and their media impacts һауе 
led to far-reaching reforms in many countries. Although lagging behind 
other national contexts, also in Italy the survey has known a certain reso- 
nance in media communication. Using the categories of interpretation al- 
ready adopted by Pons (2011), this contribution delves into the methods of 
disseminating information relating to the OECD PISA survey as conveyed 
by one of the most used search engines, i.e. google. The object of analysis 
of the present work is the review concerning 353 contributions, published 
by 127 different online news web portals in the period between 2006 and 
2018. The authors pay a specific attention to the political communication 
conveyed by the contributions analysed and understood as an integral part 
of communication in society (Rush, 1998). 

To identify the recurrent themes, the authors conducted a “survey” do- 
cumentary analysis with quantitative and qualitative insights (Losito, 2007; 
Arosio, 2010, 2013). Subsequently an in-depth study was carried out on the 
news of the four online information channels (Corriere della sera, Il Sole 24 
ore, la Repubblica and Orizzonte Scuola) with respect to which the research 
portal used revealed the greatest number of contributions. With reference 
to some of the most important information sources, the analysis carried out 
shows how the communication uses the results of PISA to “hit” the public 
highlighting negative results or to offer positive news; in many cases, the 
information is transmitted without offering elements of in-depth analysis and 
reasoned critical reflection. 


Keywords: OECD-PISA, Italy, search engine, rankings, media, correspon- 
dence analysis. 


6. Cicale o formiche? L’effetto della famiglia sui percorsi di socia- 
lizzazione economica dei quindicenni 


Carlo Di Chiacchio, Sabrina Greco, Emanuela E. Rinaldi 


Lo scopo del presente lavoro è quello di analizzare la relazione tra com- 
portamento atteso di spesa e competenza finanziaria in adolescenza e il ruolo 
giocato dalla famiglia sul fronte dell educazione finanziaria (che comprende 
solo aspetti intenzionali, come il parlare in casa di denaro) e della socializ- 
zazione finanziaria (che comprende aspetti intenzionali e non intenzionali 
da parte degli agenti di socializzazione, come l'influenza dello status socio- 
economico e culturale). 
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La nostra ipotesi è che comportamenti di spesa diversi implichino livelli 
diversi di competenza finanziaria. Sia i comportamenti di spesa sia la com- 
petenza finanziaria possono, a loro volta, essere associati alla discussione di 
argomenti economici in famiglia. 

Gli obiettivi del lavoro sono: 1) confrontare gruppi di adolescenti che 
dichiarano di avere abitudini attese di spesa più o meno virtuose rispetto ai 
risultati di un test di competenza finanziaria; 2) esaminare se la discussione 
di questioni economiche e finanziarie a casa spieghi le eventuali differenze 
tra i gruppi e abbia un effetto sulla competenza finanziaria stessa; 3) esami- 
nare la relazione tra status socio-economico e culturale della famiglia con i 
comportamenti attesi di spesa e con l’educazione finanziaria; 4) esaminare 
l’effetto dello status socio-economico e culturale della famiglia sulla compe- 
tenza finanziaria tenendo conto degli aspetti dell’ educazione finanziaria e dei 
comportamenti attesi di spesa. 

Per il seguente studio sono stati utilizzati i dati nazionali della rilevazione 
di financial literacy dell’indagine OCSE PISA 2015. Sono stati confronta- 
ti due gruppi di studenti che dichiaravano comportamenti di spesa opposti: 
quelli che per comprare qualcosa di desiderato risparmiano (formiche); quel- 
li che, al contrario, dichiaravano di usare il denaro destinato ad altro (cicale). 

I risultati delle analisi bivariate hanno mostrato una percentuale maggio- 
re di formiche tra coloro che parlano di questioni finanziarie con genitori 
o adulti, mentre le cicale sono in percentuale maggiore tra coloro che non 
ne parlano. La percentuale di formiche è risultata equidistribuita tra ma- 
schi e femmine, mentre le cicale sono risultate in percentuale maggiore tra i 
maschi. Le formiche, infine, hanno superato le cicale al test di competenza 
finanziaria in media di 31 punti. Sorprendentemente, il comportamento da 
cicala o formica non è risultato associato allo status socio-economico e cul- 
turale della famiglia, così come il parlare di questioni finanziarie con genitori 
o adulti. I risultati delle analisi multivariate hanno mostrato che, control- 
lando per l’effetto dell’educazione finanziaria, le differenze di competenza 
finanziaria tra cicale e formiche sono risultate non significative. Comunque, 
sia l’educazione finanziaria che lo status socio-economico e culturale della 
famiglia continuano ad avere un effetto diretto sulla competenza finanziaria. 


Keywords: financial literacy, comportamento atteso di spesa, socializzazione 
finanziaria, educazione finanziaria, influenza della famiglia di origine. 


The purpose of this paper is to analyse the relationship between expected 
spending behaviour and financial competence in adolescence and the role 
played by family in financial education and in financial socialization. 
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Ош hypothesis is that different spending behaviours imply different lev- 
els of financial competence. Spending behaviour and financial competence 
may be associated with the discussion of economic issues at home. 

The objectives of the study are: 1) to compare groups of adolescents who 
have different expected spending habits on the results of a financial compe- 
tence test; 2) to examine whether the discussion of economic and financial 
issues at home explains differences between the groups and has an effect 
on the financial competence itself; 3) examine the relationship between the 
socio-economic and cultural status of the family and the expected spending 
behaviour, and 4) to examine the effect of the socio-economic and cultural 
status of the financial competence, taking into account the aspects of finan- 
cial education and the expected spending behaviour. 

The national data from the OECD PISA 2015 Financial Literacy survey 
were used. Two groups of students were compared: those who save money to 
buy something they want (ants) against those who, on the contrary, claimed 
to use money for other purposes (cicadas). 

The results showed a higher percentage of ants among those who talk 
about financial issues with parents or adults, while cicadas are in higher 
percentage among those who don’t. Ants were equally distributed between 
males and females, while cicadas were in a higher percentage among males. 
Ants, outperformed cicadas on the financial competence test by 31 points on 
average. Surprisingly, spending behaviour was not associated with socio- 
economic status, as well as talking about financial matters with parents or 
adults. Once controlling for financial education, the differences between ci- 
cadas and ants in financial competence were not significant. 


Keywords: financial literacy, expected spending behaviour, financial sociali- 
zation, financial education, family background influence. 


7. L’effetto dell'esperienza in ambito finanziario sulla financial li- 
teracy degli studenti dei Paesi OECD 


Sergio Longobardi, Margherita Maria Pagliuca, Andrea Regoli 


Numerosi studi hanno evidenziato l’importanza delle competenze finan- 
ziarie nel determinare il benessere economico delle famiglie e la necessi- 
tà che queste competenze vengano acquisite sin dall’età adolescenziale. In 
questa ottica, il lavoro utilizza 1 dati relativi all’alfabetizzazione finanziaria 
(financial literacy) dei quindicenni, rilevati dall’ultima edizione dell’inda- 
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оте OECD PISA (2015) рег valutare mediante un indicatore dicotomico la 
diffusione delle esperienze finanziarie tra gli adolescenti dei Paesi OECD. 
Inoltre, attraverso modelli di regressione (OLS e quantile) si valuta il lega- 
me di tale indicatore, sia rispetto alla media che rispetto ai diversi percentili 
della distribuzione del punteggio in financial literacy, per ognuno dei Pae- 
51 partecipanti all’indagine. I principali risultati mettono in luce che nella 
maggioranza dei Paesi l’esperienza finanziaria gioca un ruolo importante 
nel favorire l’acquisizione delle competenze finanziarie e suggeriscono che 
programmi educativi basati su approcci esperenziali (per esempio gli stock 
market games) possono essere dei validi strumenti di policy per elevare 1 
livello di alfabetizzazione finanziaria della popolazione. 


Keywords: financial literacy, OECD PISA, regressione quantile, esperienza 
finanziaria. 


Several studies have highlighted the importance of financial skills in de- 
termining the economic well-being of families and the need for these skills 
to be acquired since adolescence. In this light, the data from the latest edition 
of the OECD PISA 2015 are used to assess, through a dichotomous indicator, 
the degree of spreading of experiences with money for the students of each 
country. 

OLS and quantile regression models are then estimated for analysing the 
relationship between financial experience and financial competence. The 
main results suggest that experiences with money play an important role in 
improving the acquisition of financial skills and highlight that educational 
programs based on experiential approaches (such as stock market games) can 
be valid policy tools to raise the level of financial literacy of the population. 


Keywords: financial literacy, OECD PISA, quantile regression, financial ex- 
perience. 
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assistente di ricerca al dipartimento di Applied Econometrics and International 
Economic Policy. Ha completato gli studi in Economia e relazioni internazio- 
nali presso l'Università di Bologna. I suoi principali interessi di ricerca sono 
relativi alla microeconometria applicata, l'economia dell'educazione e l'eco- 
nomia del lavoro, con un focus specifico su istituzioni, immigrazione e genere. 


Maddalena Davoli is a PhD Candidate in Economics and Research As- 
sistant at the Department of Applied Econometrics and International Eco- 
nomic Policy at Goethe University, Frankfurt. She holds a Master Degree 
in International Relations and Economics from the University of Bologna. 
Her research interests lie in the fields of applied micro econometrics, the 
economics of education and labor economics, with a specific focus on migra- 
tion, gender and Institutions. 


Carlo Di Chiacchio, PhD, ricercatore INVALSI. Si occupa degli aspetti 
metodologici e psicometrici relativi allo sviluppo degli strumenti di rileva- 
zione. Lavora sul progetto OCSE PISA già dal ciclo del 2000 come anali- 
sta e come National Project Manager nel 2012, 2015 e Co-National Project 
Manager per il ciclo 2021. Dal 2012 il suo campo di ricerca riguarda anche 
la financial literacy, collaborando con la Fondazione per |’ Educazione Finan- 
ziaria (FEDUF). 
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Carlo Di Chiacchio, PhD, is researcher at INVALSI. Expert іп psycho- 
metrics and methodology, he has been working on the OECD PISA project 
since the 2000 cycle as an analyst and as National Project Manager in 2012, 
2015 and Co-National Project Manager for the 2021 cycle. Since 2012 his 
field of research also concerns Financial Literacy, working with the Founda- 
tion for Financial Education (FEDUF). 


Brunella Fiore è ricercatrice presso l’Università di Milano-Bicocca. I 
suoi principali interessi di ricerca riguardano: la valutazione delle scuole, 
le politiche sull’istruzione, giovani e anziani, istruzione del primo e del se- 
condo ciclo. È autrice di numerosi contributi relativi al tema dell’istruzione 
e della statistica. Tra le sue ultime pubblicazioni: “Improving Excellence in 
schools: Evidence from the Italian OECD-PISA 2012 data" pubblicato su 
Italian Journal of Sociology of Education (2015), Valutare per migliorare 
le scuole con T. Pedrizzi (Mondadori, 2016) e Valutare l’istruzione. Dalla 
scuola all'università con A. Decataldo (Carocci, 2018). 


Brunella Fiore, PhD, is assistant professor at University of Milano- 
Bicocca. Her main interests concern: school evaluation, policy evaluation, 
younger/older generations, primary and secondary education. She is the au- 
thor of numerous essays and articles on educational and statistical topics. 
Her articles in the last years: “Improving excellence in schools: Evidence 
from the Italian OECD-PISA 2012 data, published on the Italian Journal of 
Sociology of Education (2015), Valutare per migliorare le scuole (Evaluat- 
ing to Improve Schools, with- T. Pedrizzi eds., Mondadori Publisher, 2016) 
and ‘Valutare l’istruzione. Dalla scuola all’università” (Evaluating educa- 
tion. From school to university, with A. Decataldo, Carocci Publisher, 2018). 


Patrizia Giannantoni, dottore di ricerca in Statistica e demografia presso 
l’Università Sapienza di Roma. Si è occupata di valutazione psicometrica di 
test di sviluppo collaborando con il CNR – Istituto di Scienze e tecnologie 
della cognizione e l'Ospedale pediatrico Bambino Gesù. Ha preso parte a pro- 
getti di ricerca sui temi della migrazione e dell’integrazione, con l'Università 
di Napoli. Dal 2017 lavora presso l'INVALSI nell’area del Servizio statistico. 


Patrizia Giannantoni, PhD in Statistics and demography at the University 
of Rome, La Sapienza, has collaborated in the psychometric evaluation of 
developmental tests with the CNR – Institute of Science and Technology 
of Cognition and the Pediatric Hospital Bambino Gesù. She has also been 
involved in research projects on migration and integration issues at the Uni- 
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versity of Naples. Since 2017 she has been working in the Statistical Service 
of INVALSI. 


Sabrina Greco, PhD, ricercatrice INVALSI. Si occupa degli aspetti te- 
orico-metodologici della costruzione degli strumenti di background per le 
rilevazioni internazionali. Attualmente è coinvolta nei progetti OCSE PISA 
e TALIS. Principali interessi di ricerca: relazione tra aspetti contestuali della 
scuola e apprendimento degli studenti, educazione finanziaria. Collabora con 
la Fondazione per l'Educazione finanziaria (FEDUF). È membro del Comi- 
tato scientifico per il concorso EconoMia. 


Sabrina Greco, PhD, is researcher at INVALSI. Expert on questionnaire 
construction and validation, she is currently involved in the OECD PISA and 
TALIS projects. She collaborates with the Foundation for Financial Educa- 
tion (FEDUF) and she is a member of the Scientific Committee for the Eco- 
noMia Competition. Main research interests: relationship between school 
context factors and students’ learning, Financial Education. 


Giuseppina Le Rose, psicologa, psicoterapeuta ed esperta in valutazione 
e counselling psicologico, attualmente lavora presso l'INVALSI. Ha svolto 
numerosi interventi di orientamento scolastico e professionale e collaborato 
alla predisposizione di test psico-attitudinali, cognitivi e di personalità. 


Giuseppina Le Rose, psychologist, psychotherapist and expert in psycho- 
logical evaluation and counseling, currently works at INVALSI. She has per- 
formed numerous educational and vocational interventions and collaborated 
іп the preparation of psycho-aptitudinal, cognitive and personality tests. 


Sergio Longobardi è professore associato in Statistica economica presso 
l'Università degli studi di Napoli Parthenope. I suoi principali interessi di 
ricerca vertono principalmente sull’economia dell'istruzione e la qualità dei 
dati. Ha pubblicato numerosi articoli sul tema della resilienza e dell’equità 
nell’educazione, focalizzandosi sia sul contesto italiano che sui confronti in- 
ternazionali. 


Sergio Longobardi, is assistant professor in Economic Statistics at the 
University of Naples Parthenope. His main research interests focus mainly 
on the economics of education and data quality. He has published numerous 
articles on resilience and equity in education, focusing both on the Italian 
context and on international comparisons. 
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Marina Murat è professore associato, Dipartimento di Economia Marco 
Biagi, Università di Modena e Reggio Emilia. Svolge attività di ricerca nelle 
aree di migrazioni internazionali, education, commercio internazionale e inve- 
stimenti esteri. Fra le sue pubblicazioni: “Do immigrants succeed? Evidence 
from Italy and France based on PISA 2006" (Global Economy Journal, 2012, 
12, 3, pp. 1-20) e “Institutions, culture and background. The school performan- 
ce of immigrant students” (con P. Frederic, Education Economics, 2015, 23, 5, 
pp. 612-630). Sito web: http://www.economia.unimore.it/murat marina. 


Marina Murat is Associate Professor in Economic Policy in the Depart- 
ment of Economics Marco Biagi, University of Modena and Reggio Emilia 
(Italy). She publishes in the areas of international migration, education and 
trade. Among other articles, she published: “Do immigrants succeed? Evi- 
dence from Italy and France based on PISA 2006" (Global Economy Journal, 
2012, 12, 3, pp. 1-20) e "Institutions, culture and background. The school 
performance of immigrant students" (with P. Frederic, Education Econom- 
ics, 2015, 23, 5, pp. 612-630). Website: http://www.economia.unimore.it/ 
murat marina. 


Margherita Maria Pagliuca é ricercatrice in Statistica economica pres- 
so l'Università degli studi di Napoli Parthenope. I suoi principali campi di 
ricerca scientifica sono le applicazioni di modelli a equazioni strutturali nel 
campo educativo, equità dei sistemi scolastici e qualità dei dati. 


Margherita Maria Pagliuca is assistant professor in Economic Statistics 
at the University of Naples Parthenope. His main scientific interests are the 
application of Structural Equation Models in the educational field, equity of 
school systems and data quality. 


Laura Palmerio, PhD, primo ricercatore presso l'INVALSI, é responsa- 
bile dell'area Indagini internazionali. Responsabile per l’Italia dei progetti 
OCSE PISA e TALIS e dei progetti IEA TIMSS, PIRLS e ICCS. È attual- 
mente membro del Consiglio Scientifico dell INVALSI. Principali interessi 
di ricerca: equità in educazione, relazioni tra literacy in lettura e in matema- 
tica, educazione civica e alla cittadinanza. 


Laura Palmerio, PhD, is senior researcher at INVALSI where she is 
in charge of the International Surveys department. Italian responsible for 
OECD PISA and TALIS, and for IEA surveys TIMSS, PIRLS and ICCS. She 
Is currently a member of the Scientific Council of INVALSI. Main research 
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interests: relations between reading Шегасу and mathematics, civic and citi- 
zenship education, gender differences in school achievement. 


Donatella Poliandri, PhD, è prima ricercatrice presso l'INVALSI. È re- 
sponsabile dell'area di ricerca Valutazione delle scuole presso l'INVALSI. 
Attualmente coordina le attività istituzionali e quelle di ricerca connesse al 
Sistema nazionale di valutazione (SNV). Ha elaborato e implementato i pro- 
getti che hanno delineato i quadri di riferimento, i protocolli e gli strumenti 
del Sistema Nazionale di Valutazione, contribuendo al suo sviluppo. I suoi 
interessi di ricerca riguardano la metodologia della ricerca sociale, la teoria e 
le tecniche della valutazione, la valutazione interna ed esterna delle scuole, i 
processi di insegnamento/apprendimento, le disuguaglianze educative. Pub- 
blica regolarmente su riviste scientifiche e divulgative su tematiche educative 
e valutative. 


Donatella Poliandri, PhD in social research methodology at the Sapienza 
University of Rome (Italy), is a senior researcher at INVALSI and Head of 
the department of Schools’ Evaluation. She coordinates the institutional and 
research activities related to the Italian National Evaluation System. She elab- 
orated the projects that have outlined reference frameworks and protocols for 
the Evaluation System, contributing to its development. Her research inter- 
ests focus on social research methodology, theory and techniques of evalua- 
tion, internal and external evaluation of schools, educational inequalities. She 
regularly publishes on scientific and general audience journals on education 
and evaluation topics. 


Andrea Regoli è professore associato in Statistica economica presso il 
Dipartimento di Studi aziendali e quantitativi (DISAQ) dell'Università degli 
studi di Napoli Parthenope. I suoi principali interessi di ricerca vertono sulle 
tematiche dell'equità in educazione, della distribuzione dei redditi e della 
sostenibilità. 


Andrea Regoli is associate professor in Economic Statistics at the Depart- 
ment of Business and Quantitative Studies (DISAQ) of the University of 
Naples Parthenope. His main research interests focus on issues of equity in 
education, income distribution and sustainability. 


Emanuela E. Rinaldi, ricercatrice in Sociologia dei processi culturali e 
comunicativi presso l'Università degli studi di Milano-Bicocca, Dipartimen- 
to Di.SEA.DE. MSc in Economic Psychology e dottore di ricerca in Socio- 
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logia е metodologia della ricerca sociale, collabora con organizzazioni non 
governative e istituzioni pubbliche e private nell’ambito di progetti di educa- 
zione finanziaria ed educazione alla cittadinanza. È membro del Comitato di- 
rettivo di AEEE-Italia (Associazione europea per l'educazione economica), 
del Comitato scientifico di AIS sezione Educazione e del gruppo di ricerca 
SCUOLA presso la Fondazione ISMU, e responsabile scientifico di ONEEF 
(Osservatorio nazionale di educazione economico- finanziaria). 


Emanuela E. Rinaldi, PhD. Now working as a Lecturer of Sociology of 
culture at University of Milano Bicocca (IT), Business and Law Department, 
she holds a Master in Economic Psychology and a PhD in Sociology and 
social research method. She works with ONG and public institutions run- 
ning financial and citizenship education projects all over Italy. She is also 
a member of the steering committee of AEEE-Italia (Association of Euro- 
pean Economics Education Italy), the scientific committee of Associazione 
italiana di sociologia – RN Education, of the research-group on immigrant's 
education at Fondazione ISMU and she is the scientific director of ONEEF 
(Osservatorio nazionale di educazione economico-finanziaria). 


Marco Spampinato ha una formazione accademica multidisciplinare 
nelle Scienze sociali: laurea in Scienze politiche (Perugia, 1993), master in 
Economia (Torino, 1995) e master of arts in Psicologia (New School for So- 
cial Research, New York, 2016). Il suo interesse principale è la mediazione 
culturale di processi psicologici di base (percezione, pensiero e linguaggio), 
in situazioni di vita quotidiana come nel funzionamento di politiche pubbli- 
che, per esempio nell’istruzione. In passato è stato componente dell’Unità 
di Valutazione degli investimenti pubblici, Dipartimento per le Politiche di 
sviluppo e coesione. 


Marco Spampinato has a multidisciplinary academic background in the 
Social Sciences: laurea in Political Sciences (Perugia, 1993), master's degree 
in Economics (Turin, 1995) and master of arts in Psychology (New School 
for Social Research, New York, 2016). His primary research interest is in the 
cultural mediation of basic psychological processes (perception, thought and 
language), involved in everyday situations as well as in public policies — e.g., 
in education. In the past, he served as a member of the Evaluation Unit of 
Public Investment, Department for Development and Cohesion Policy. 
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Il volume ha lo scopo di promuovere il valore scientifico dei dati 
rilevati dalle indagini internazionali OCSE e IEA svoltesi nel 2015 
e presenta contributi di esperti e analisti in merito ad alcune delle 
competenze rilevate, focalizzando l'attenzione sul rapporto tra 
risultati e variabili di contesto. In particolare, per quanto riguar- 
da le indagini IEA TIMSS e TIMSS Advanced, i contributi vertono 
sull'incidenza di comportamenti e contesti di apprendimento degli 
studenti sullo sviluppo delle competenze in matematica. In merito 
all'indagine OCSE PISA, invece, i temi discussi sono il rapporto 
tra fattori culturali, cognitivi e motivazionali e le relative eviden- 
ze empiriche, nonché l'esposizione mediatica online dell'indagine. 
Infine, un'ultima sezione tematica riguarda il rapporto tra varia- 
bili di contesto e competenze legate alla Financial Literacy. 


Laura Palmerio, dottore di ricerca in Innovazione e Valutazione dei 
Sistemi di istruzione, primo ricercatore presso l'INVALSI, è responsabile 
dell'Area Indagini internazionali. Е responsabile per l'Italia dei progetti 
OCSE PISA 20089, PISA 2018, TALIS 2018 e IEA TIMSS, PIRLS e ICCS. 
Е attualmente membro де! Consiglio Scientifico dell'INVALSI. Tra i suoi 
principali interessi di ricerca: equità in educazione, relazioni tra literacy 
in lettura e in matematica, educazione civica e alla cittadinanza. 


Elisa Caponera, dottore di ricerca, è ricercatrice presso l'INVALSI 
nell'Area Indagini internazionali (OCSE e IEA). Specialista in valutazione 
psicologica, si occupa di costruzione e validazione di questionari. Fra i 
temi principali delle sue ricerche: equità del sistema scolastico, ruolo dei 
genitori nell'apprendimento degli studenti, differenze di genere nell'ap- 
prendimento della matematica. 
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